谷歌 第 二 代 人 工 智 能 学 习 系统 


TensorFlow 
书 方 文档 中 文 版 全 国 下 友 


z; 
nii 


你 正在 阅读 的 项 目 可 能 会 比 Android 系统 更 加 深远 地 影响 着 世界 ! 


| 缘起 

















2015 年 11 月 9 日 ，Google 发 布 人 工 智能 系统 TensorFlow 并 宣布 开源 ， 同 日 ， 极 客 学 院 组 织 在 线 TensorFlow 中 文 文档 



























































机 器 学 习作 为 人 工 智能 的 一 种 类 型 ， 可 以 让 软件 根据 大 量 的 数据 来 对 未 来 的 情况 进行 兰 述 或 预 判 。 如 今 ， 领 先 的 
科技 巨头 无 不 在 机 器 学 习 下 予以 极 大 投入 。Facebook、 苹 果 、 微 软 ， 甚 至 国内 的 百度 。Google 自然 也 在 其 
中 。 [TensorFlow] 是 Google 多 年 以 来 内 部 的 机 器 学 习 系 统 。 如 今 ，Google 正在 将 此 系统 成 为 开源 系统 ， 并 将 
此 系统 的 参数 公布 给 业界 工程 师 、 学 者 和 拥有 大 量 编程 能 力 的 技术 人 员 ， 这 意味 着 什么 呢 ? 






































































































































打 个 不 太 恰 当 的 比喻 ， 如 今 Google 对 待 TensorFlow 系统 ， 有 点 类 似 于 该 公司 对 待 旗 下 移动 操作 系统 Androi 
d。 如 果 更 多 的 数据 科学 家 开始 使 用 Google 的 系统 来 从 事 机 器 学 习 方面 的 研究 ， 那 么 这 将 有 利于 Google 对 
发 展 的 机 器 学 习 行业 拥有 更 多 的 主导 权 。 


























Er: 

















为 了 让 国内 的 技术 人 员 在 最 短 的 时 间 内 迅速 掌握 这 一 世界 领先 的 AI 系统 ， 极 客 学 院 Wiki 团队 发 起 对 TensorFl 
ow 官方 文档 的 中 文 协同 翻译 ， 一 周 之 内 ， 全 部 翻译 认领 完成 ， 一 个 月 后 ， 全 部 30 章 节 翻 译 校对 完成 ， 上 线 极 客 学 
院 Wiki 平 台 并 提供 下 载 。 















































Google TensorFlow 项 目 负责 人 Jeff Dean 为 该 中 文 翻译 项 目 回信 称 :“ 和 看 到 能 够 将 TensorFjow 翻 译 成 由 文 我 瀑 入 激 
动 ， 我 们 将 TensorFlow 开 小 的 主要 原因 之 一 十 为 了 让 全 直 界 的 人 们 能 够 从 机 严 学 习 与 人 工 知 能 中 获准 ， 类 似 这 样 























的 协作 翻译 能 够 让 更 多 的 人 更 容易 地 接触 到 TensorFlow 项 上 日， 很 期 待 榜 下 来 该 项 日 站 全球 范 肘 内 的 应 用 !” 
Jeff 回 信和 原文 : 

jeff 

KH .2 jeff 


























再 次 衷心 感谢 每 一 位 为 该 翻译 项 目 做 出 贡献 的 同学 ， 我 们 会 持续 关注 TensorFlow、ATI 领 域 以 及 其 它 最 新 技术 的 发 
展 、 持 续 维护 该 协作 翻译 、 持 续 提 供 更 多 更 优质 的 内 容 ， 为 广大 IT 学 习 者 们 服务 ! 
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英文 官方 网 站 : 


http://tensorflow. org/ 


官方 GitHub 仓 库 : 


https://github. com/tensorflow/tensorflow 


中 文 版 GitHub 仓库 : 


https://github. com/ jikexueyuanwiki/tensorflow-zh 


| 参与 者 〈 按 认领 章节 排序 ) 


翻译 
* (PFZheng 
* (Tony Jin 
e (chenweican 
* (bingjin 
e (hskycar 
e @btpeter 
* @Warln 
* @ericxk 
* @wangaicc 
* @Terence Cooper 
e ()zhyhooo 
e (thylacoleo 
* (volvet 
* (zhangkom 
* ()derekshang 


e (lianghyv 
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。 @nb312 

* @Jim-Zenn 

e @andyiac 

e @Terence Cooper 

e @leegel00 
校对 

e (yangtze 

* (ericxk 

e (HongyangWang 

e QLichAmnesia 

e @zhyhooo 

e @waiwaizheng 

* @HongyangWang 

e @tensorfly 

e @lonlonago 

e @jishaoming 

e @lucky521 

* @allensummer 

* (volvet 

* (/7HNathanielLee 

e @pengfoo 

e @qiaohai jun 


* @Seika 


| 进度 记录 





。 2015-11-10， 人 谷歌 发 布 全 新 人 工 智能 系统 TensorFlow 并 宣布 开源 ， 极 客 学 院 Wiki 启 动 协同 翻译 ， 创 建 GitHub 
仓库 ， 制 定 协同 规范 
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2015-11-18， 所 有 章节 认领 完毕 ， 翻 译 完成 18 章 ， 校 对 认领 7 章 ，Star 数 361，fork 数 100， 协 同 翻译 QQ 群 及 技 
术 交 流 群 的 TF 爱好 者 将 近 300 人 ，GitHub 搜 索 TensorFlow 排 名 第 二 


2015-12-10，Star 数 超过 500 


2015-12-15， 项 目 正 式 上 线 








| 花絮 






































组 织 翻 译 的 过 程 中 ， 有 些 事情 令 人 印象 深刻 ， 记 录 下 来 ， 希 望 以 后 来 学 习 文 档 的 同学 能 够 明了 到 手中 这 份 文档 
由 来 : 

















参加 翻译 的 有 学 生 ， 也 有 老师 ， 有 专门 研究 AI/ 的 ， 也 有 对 此 感 兴趣 的 ， 有 国内 的 ， 也 有 远 在 纽约 的 ， 有 工 
程 技术 人 员 也 有 博士 、 专 家 




















其 中 一 位 ， 恩 泽 同 学 ， 为 了 翻译 一 篇 文档 ， 在 前 一 天 没有 睡觉 的 情况 下 坚持 翻 完 ，20 个 小 时 没有 合 眼 























还 有 一 位 老师 ， 刚 从 讲台 上 讲 完 课 ， 就 立即 给 我 们 的 翻译 提 修 改 意见 














很 多 同学 自发 的 将 搭建 环境 中 过 到 的 问题 总 结 到 FAQ 里 帮助 他 人 

















IP 








为 了 一 个 翻译 细节 ， 经 常 是 来 回 几 次 ， 和 其 他 人 讨论 完善 




















| 持续 改进 




















这 样 的 一 个 高 技术 领域 的 文档 ， 我 们 在 翻译 的 过 程 中 ， 难 免 会 有 不 完善 的 地 方 ， 希 望 请 大 家 一 起 帮助 我 们 持续 改 

















进 文档 的 翻译 质量 


帮助 更 多 的 人 ， 方 法 : 





在 GitHub 上 提 ITssue 或 Pull Request， 地 址 为 : https://github. com/ jikexueyuanwiki/tensorflow-zh 








加 入 我 们 的 QQ 群 提 建 议 一 协同 翻译 群 :， 248320884， 技 术 交 流 群 : 495115006 








给 我 们 写 邮 件 : wiki@jikexueyuan. com 


| 感谢 支持 


极 客 学 院 Wiki 提供 图 文教 程 托管 服务 
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| 离线 版 本 





| Tex-PDF 修订 版 





Tex-PDF 修订 版 











H B 1E 





目前 ， 离 线 版 本 (PDF、ePub) 可 正常 下 载 、 使 用 

















Edi TT H 








Ph， 欢迎 加 入 进来 一 起 修订 。 您 可 以 在 此 查看 预览 版 目前 
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TensorFlow 运 作 方 式 入 门 


卷 积 神经 网 络 . . . . .. 


Vector Representations of Words . . . . . s so s soso e s e e e a s e e a a a o‘ 


递归 神经 网 络 . . . . .. 





曼 德 布 洛 特 (Mandelbrot) 和 集合 . oaa a a a a 

















MNIST 数据 下 载 . . . . . 


运作 方式 . . .. 





偏 微分 方程 . . . . . .. 


综述 Overview. . . . . 2 4 4 4 44 s 
变量 :创建 、 初 始 化 、 保 在 和 加 载 . . 5... 2l o a 





TensorBoard: 可 视 化 学 习 


TensorBoard: 图 表 可 视 化 
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Du s T s c EN MEET 


其 他 
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或 
> 


本 章 的 目的 是 让 你 了 解 和 运行 TensorFlow! 











在 开始 之 前 ， 让 我 们 先 看 一 段 使 用 Python API 撰写 的 TensorFlow 示例 代码 ， 让 你 对 将 要 学 习 的 内 容 有 初步 的 
印象 . 























这 段 很 短 的 Python 程序 生成 了 一 些 三 维 数据 ， 然 后 用 一 个 平面 拟 合 它 . 


import tensorflow as tf 
import numpy as np 


# 使 用 NumPy 生成 假 数据 (phony data)， 总 共 100 个 点 . 


x data = np. float32 (np. random. rand(2，100)) # 随机 输入 
y data - np.dot([0.100, 0.200], x data) -* 0.300 


& 构造 一 个 线性 模型 


ü 

b - tf. Variable(tf. zeros ([1])) 
W — tf. Variable(tf. random uniform([1, 2], -1.0, 1.0)) 
y = tf. matmul (W, x data) + b 


# BENE 


loss = tf. reduce_mean (tf. square (y - y data)) 
optimizer = tf. train. GradientDescentOptimizer (0. 5) 
train = optimizer. minimize (loss) 


# 初始 化 变量 
init - tf. initialize all variables 
# 启动 图 (graph) 


sess — tf.Session() 
sess. run (init) 


for step in xrange(0, 201): 
sess. run (train) 


if step % 20 == 0: 
print step, sess.run(W), sess.run(b) 


# 得 到 最 佳 拟 合 结果 W: [[0.100 0.200]], b: [0.300] 











为 了 进一步 激发 你 的 学 习 欲 望 ， 我 们 想 让 你 先 看 一 下 TensorFlow 是 如 何 解 决 一 个 经 典 的 机 器 学 习 问 题 的 .在 
经 网 络 领域 ， 最 为 经 典 的 问题 莫 过 于 MNIST 手写 数字 分 类 问题 ， 我 们 准备 了 两 篇 不 同 的 教程 ， 分 别 面向 机 器 学 
习 领 域 的 初学 者 和 专家 ， 如 果 你 已 经 使 用 其 它 软件 训练 过 许多 MNIST 模型 ， 请 阅读 高 级 教程 (红色 药丸 链接 ). 








Fr 
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如 果 你 以 前 从 未 听 说 过 MNIST， 请 阅读 初级 教程 〈 蓝 色 药丸 链接 ) 如果 你 的 水 平 介 于 这 两 类 人 之 间 ， 我 们 建议 你 




















先 快速 浏览 初级 教程 ， 然 后 再 阅读 高 级 教程 . 

















intro mnist 


se pn do 














片 1.2 面向 机 器 学 习 专 家 的 MNIST 高 级 教程 











图 片 由 CC BY-SA 4.0 授权 ; 原作 者 W. Carter 























如 果 你 已 经 下 定 决心 ， 准 备 学 习 和 安装 TensorFlow， 你 可 以 略 过 这 些 文字 ， 直 接 阅 读 后 面 的 章节 .不 用 担心 ， 














你 仍然 会 看 到 MNIST 一 在 阐述 TensorFlow 的 特性 时 ， 我 们 还 会 使 用 MIST 作为 一 个 样 
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fpi. 


| 推荐 随后 阅读 : 


。 下 载 与 安装 





。 基本 使 用 





。 TensorFlow 技术 指南 


X: Introduction 翻译 : @doc001 校对 : @yangtze 
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章 起 步 


下 载 与 安装 

















你 可 以 使 用 我 们 提供 的 二 进 制 包 ， 或 者 使 用 源 代 码 ， 安 装 TensorFlow. 








| 三 进 制 安装 


TensorFlow Python API 依赖 Python 2.7 版 本 

















在 Linux 和 Mac 下 最 简单 的 安装 方式 ， 是 使 用 pip 安装 














如 果 在 安装 过 程 中 过 到 错误 ， 请 查阅 常见 问题 (页 1D. 为 了 简化 安装 步 又， 建议 使 用 virtualenv， 教 程 见 这 
里 《页 13). 

















Ubuntu/Linux 














# 仅 使 用 CPU 的 版 本 








$ pip install https://storage. googleapis. com/tensorflow/linux/cpu/tensorflow-0. 5. 0-cp27-none-linux x86 64.whl 








# 开局 GPU SRRA (安装 该 版 本 的 前 提 是 已 经 安装 了 CUDA sdk) 








$ pip install https://storage. googleapis. com/tensorflow/linux/gpu/tensorflow-0. 5. 0-cp27-none-linux x86 64.whl 


Mac OS X 























在 OS X 系统 上 ， 我 们 推荐 先 安装 homebrew， 然 后 执行 brew install python ， 以 便 能 够 使 用 homebrew 中 的 P 
ython 安装 TensorFlow. 另外 一 种 推荐 的 方式 是 在 virtualenv (页 13) 中 安装 TensorFlow. 









































# 当前 版 本 只 支持 CPU 


$ pip install https://storage. googleapis. com/tensorflow/mac/tensorflow-0. 5. 0-py2-none-any. whl 


| 基于 Docker 的 安装 


我 们 也 支持 通过 Docker 3517 TensorFlow. 该 方式 的 优点 是 不 用 操心 软件 依赖 问题 . 








首先 ， 安 闭 Docker. 一旦 Docker 已 经 启动 运行 ， 可 以 通过 命令 启动 一 个 容器 : 





$ docker run -it b. gcr. io/tensorflow/tensorflow 


该 命令 将 启动 一 个 已 经 安装 好 TensorFlow 及 相关 依赖 的 容器 . 
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其 它 镜像 


























默认 的 Docker 镜像 只 包含 启动 和 运行 


T 
容器 同样 可 以 通过 上 述 docker run 命令 安装 : 








ensorFlow 所 需 依赖 库 的 一 个 最 小 集 ， 我 们 额外 提供 了 下 面 的 容器 ， 该 


*  b.gcr. io/tensorflow/tensorflow-full : 镜像 中 的 TensorFlow 是 从 源 代 码 完 整 安 装 的 ， 包 含 了 编译 和 运行 























T 























TensorFlow 所 需 的 全 部 工具 .在 该 镜像 
LU 














| 基于 VirtualEnv 的 安装 





， 可 以 直接 使 用 源 代 码 进行 实验 ， 而 不 需要 再 安装 上 述 的 任何 依 











我 们 推荐 使 用 virtualenv 创建 一 个 隔离 的 容器 ， 来 安装 TensorFlow. 这 是 可 选 的 ， 但 是 这 样 做 能 使 排查 安装 问 




















题 变 得 更 容易 





首先 ， 安 闭 所 有 必 备 工具 : 





8 在 Linux L: 


$ sudo apt-get install python-pip python-dev python-virtualenv 


# 在 Mac E: 





$ sudo easy install pip # 如 果 还 没有 安装 pip 
$ sudo pip install —-upgrade virtualenv 


























$ virtualenv --system-site-packages "/tensorflow 
$ cd "/tensorflow 


然后 ， 激 活 virtualenv: 




















$ source bin/activate # 如 果 使 用 bash 
$ source bin/activate.csh # 如 果 使 用 csh 
(tensorflow)$ # 终端 提示 符 应 该 发 生变 化 























在 virtualenv 内 ， 安 装 TensorFlow: 





(tensorflow)$ pip install —-upgrade «$url to binary. whl> 








接 下 来 ， 使 用 类 似 命令 运行 TensorFlow 程序 : 


(tensorflow)$ cd tensorflow/models/image/mnist 
(tensorflow)$ python convolutional.py 








lE 


使 用 完 TensorFlow 








# 








(tensorflow)$ deactivate # 停 用 virtualenv 
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接 下 来 ， 建 立 一 个 全 新 的 virtualenv 环境 .为 了 将 环境 建 在 C/tensorflow 目录 下 ， 执 行 : 


$ # 你 的 命令 提示 符 会 恢复 原样 


尝试 你 的 第 一 个 TensorFlow 程序 


(可 选 ) 启用 GPU 支持 



































如 果 你 使 用 pip 二 进 制 包 安 装 了 开局 GPU 支持 的 TensorFlow， 你 必须 确保 系统 里 








HZ TIEN 




















CUDNN 版 本 ， 请 参 间 CUDA 安装 教程 (页 15) 











你 还 需要 设置 LD LIBRARY PATH 和 CUDA HOME 环境 变量 .可 以 考虑 将 下 面 的 命令 添加 到 
























































ARJ CUDA sdk 和 


~/. bash profile 


文件 中 ， 这 样 每 次 登陆 后 自动 生效 ， 注意， 下 面 的 命令 假定 CUDA ZH /usr/local/cuda 














export LD LIBRARY PATH-"$LD LIBRARY PATH:/usr/local/cuda/lib64^ 
export CUDA HOME-/usr/local/cuda 


运行 TensorFlow 


打开 一 个 python 终端 : 





$ python 


>>> import tensorflow as tf 

>>> hello = tf.constant( Hello, TensorFlow!') 
22» sess - tf.Session() 

»»» print sess. run hello) 

Hello, TensorFlow! 

222.8 = tf.constant(10) 

23 b e th eost (99) 

>>> print sess. run (a+b) 

42 

>>> 


| 从 源码 安装 
克隆 TensorFlow 仓库 


$ git clone —recurse-submodules https://github. com/tensorflow/tensorflow 


—recurse-submodules 参数 是 必须 得 ， 用 于 获取 TesorFlow 依赖 的 protobuf PE. 








Linux 安装 


安装 Bazel 


首先 依照 教程 安装 Bazel 的 依赖 ， 然 后 使 用 下 列 命 令 下 载 和 编译 Bazel 的 源码 : 
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$ git clone https://github. com/bazelbuild/bazel. git 
$ cd bazel 

$ git checkout tags/0. 1.0 

$ . /compile. sh 











上 上面 命 令 中 拉 取 的 代码 标签 为 ”0.1.0 X Tensorflow 目前 版 本 .bazel 的 HEAD 版 本 ( 即 最 新 版 本 ) 在 这 里 








T 




















pn; 


将 执行 路 径 output/bazel 添加 到 $PATH 环境 变量 中 . 





安装 其 他 依赖 
$ sudo apt-get install python-numpy swig python-dev 





可 选 : 安装 CUDA (在 Linux 上 开启 GPU 支持 ) 
为 了 编译 并 运行 能 够 使 用 GPU 的 TensorFlow， 需 要 先 安装 NVIDIA 提供 的 Cuda Toolkit 7.0 和 CUDNN 6.5 V 
2. 
































TensorFlow 的 GPU 特性 只 支持 NVidia Compute Capability >= 3.5 的 显卡 .被 支持 的 显卡 包括 但 不 限于 : 
* NVidia Titan 
* NVidia Titan X 


* NVidia K20 














* NVidia K40 


下 载 并 安装 Cuda Toolkit 7.0 
下 载 地 址 


将 工具 安装 到 诸如 /usr/local/cuda 之 类 的 路 径 . 





下 载 并 安装 CUDNN Toolkit 6.5 
下 载 地 址 














解压 并 拷贝 CUDNN 文件 到 Cuda Toolkit 7.0 安装 路 径 下 ， 假 设 Cuda Toolkit 7.0 安装 在  /usr/local/cud 
a ， 执 行 以 下 命令 : 








tar xvzf cudnn-6. 5b-linux-x64-v2. tgz 

sudo cp cudnn-6. 5b-linux-x64-v2/cudnn.h /usr/local/cuda/include 
sudo cp cudnn-6. 5-linux-x64-v2/libcudnn* /usr/local/cuda/lib64 
配置 TensorFlow 的 Cuba 选项 

从 源码 树 的 根 路 径 执行 : 

$ ./configure 


Do you wish to bulid TensorFlow with GPU support? [y/n] y 
GPU support will be enabled for TensorFlow 


Please specify the location where CUDA 7.0 toolkit is installed. Refer to 
README. md for more details. [default is: /usr/local/cuda]: /usr/local/cuda 
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Please specify the location where CUDNN 6.5 V2 library is installed. Refer to 
README. md for more details. [default is: /usr/local/cuda]: /usr/local/cuda 


Setting up Cuda include 
Setting up Cuda lib64 
Setting up Cuda bin 
Setting up Cuda nvvm 
Configuration finished 











这 些 配置 将 建立 到 系统 Cuda 库 的 符号 链 


法 调用 bazel 编译 命令 . 




















编译 目标 程序 ， 开 启 GPU 支持 
从 源码 树 的 根 路 径 执行 : 








fk. 每 当 Cuda 库 的 路 径 发 生变 更 时 ， 必 须 重 新 执行 上 述 步骤 ， 和 否则 无 





$ bazel build -c opt —-config-cuda //tensorflow/cc:tutorials example trainer 


$ bazel-bin/tensorflow/cc/tutorials example trainer --use gpu 


# 大 量 的 输出 信息 . 这 个 例子 用 GPU 和 迭代 计算 一 个 2x2 矩阵 的 主 特征 值 (major eigenvalue) 


























# 最 后 儿 行 输出 和 下 面 的 信息 类 似 . 











000009/000005 lambda = 2.000000 x = [0.894427 -0. 447214] y = [1.788854 -0. 894427] 


000006/000001 lambda = 2.000000 x = [0.894427 -0.447214] y 
[0. 894427 -0.447214] y 


000009/000009 lambda = 2.000000 x 





已 知 问 题 


[1. 788854 -0. 894427] 
[1. 788854 -0. 894427] 


注意 ，GPU 文 持 需 通 过 编译 选项 “一 -config=cuda” 开 局 . 








。 尽管 可 以 在 同一 个 源码 树 下 编译 开局 Cuda SMH Cuda 支持 的 版 本 ， 我 们 还 是 推荐 在 在 切换 这 两 种 不 





















































同 的 编译 配置 时 ， 使 用 “bazel clean” 清 理 环 境 














。 在 执行 bazel 编译 前 必须 先 运 行 configure， 否 则 编译 会 失败 并 提示 错误 信息 ， 未 来 ， 我 们 可 能 考虑 将 con 








figure 步骤 包含 在 编译 过 程 中 ， 以 简化 整个 过 程 ， 前 提 是 bazel 能 够 提供 新 的 特性 支持 这 术 











Mac 0S X 安装 








Mac 和 Linux 需要 的 软件 依赖 完全 一 
些 依赖 : 





H 
> 








Bazel 


参见 本 网 页 的 Mac OS X 安装 指南 . 


SWIG 
Mac OS X 安装 教程 . 








注意 ; 你 需要 安装 PCRE， 而 不 是 PCRE2. 


























n 

















羊 ， 但 是 安装 过 程 区 别 很 大 ， 以 下 链接 用 于 帮助 你 在 Mac OS X 上 安装 这 
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Numpy 


参见 安装 教程. 


创建 pip 包 并 安装 


$ bazel build -c opt //tensorflow/tools/pip package:build pip package 


$ bazel-bin/tensorflow/tools/pip package/build pip package /tmp/tensorflow pkg 





# .whl 文件 的 实际 名 学 与 你 所 使 用 的 平台 有 关 








$ pip install /tmp/tensorflow pkg/tensorflow-0. 5. 0-cp27-none-linux x86 64. whl 


训练 你 的 第 一 个 TensorFlow 神经 网 络 模型 


从 源 代 码 树 的 根 路 径 执 行 : 


$ cd tensorflow/models/image/mnist 

$ python convolutional.py 

Succesfully downloaded train-images-idx3-ubyte.gz 9912422 bytes. 
Succesfully downloaded train-labels-idxl-ubyte.gz 28881 bytes 
Succesfully downloaded tlOk-images-idx3-ubyte.gz 1648877 bytes. 
Succesfully downloaded tlOk-labels-idxl-ubyte.gz 4542 bytes. 
Extracting data/train-images-idx3-ubyte. gz 

Extracting data/train-labels-idxl-ubyte. gz 

Extracting data/tlOk-images-idx3-ubyte. gz 

Extracting data/tlOk-labels-idxl-ubyte. gz 

Initialized! 

Epoch 0. 00 

Minibatch loss: 12.054, learning rate: 0.010000 

Minibatch error: 90. 6% 

Validation error: 84. 6% 

Epoch 0. 12 

Minibatch loss: 3.285, learning rate: 0.010000 

Minibatch error: 6. 2% 

Validation error: 7. 0% 


| 常见 问题 


GPU 相关 问题 





如 果 在 尝试 运行 一 个 TensorFlow 程序 时 出 现 以 下 错误 : 








ImportError: libcudart.so. 7.0: cannot open shared object file: No such file or directory 

















请 确认 你 正确 安装 了 GPU 支持 ， 参 见 相关 章节 (页 15). 
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在 Linux 上 





d AR HR 





SyntaxError: invalid syntax 











解决 方案 : 确认 正在 使 用 的 Python 版 本 为 Python 2. 7. 

















在 Mac 0S X 上 





dr AR HR 


import six.moves.copyreg as copyreg 


ImportError: No module named copyreg 





解决 方案 : TensorFlow 使 用 的 protobuf 依赖 six-1.10.0 . 但 是 ，Apple 的 默认 python 环境 已 经 安装 了 s 
ix-1. 4. 1 ， 该 版 本 可 能 很 难 升 级 .这 里 提供 几 种 方法 来 解决 该 问题 : 






































1. 升级 全 系统 的 six: 


bash sudo easy install -U six 


2. 通过 homebrew 安装 一 个 隔离 的 python 副本 : 


bash brew install python 














3. 4E virtualenv (页 13) 内 编译 或 使 用 TensorFlow. 











d AR A 


>>> import tensorflow as tf 
Traceback (most recent call last): 
File ^«stdin^^, line 1, in «module? 
File "/usr/local/lib/python2. 7/site-packages/tensorflow/ init .py^, line 4, in <module> 
from tensorflow.python import * 
File "/usr/local/lib/python2. 7/site-packages/tensorflow/python/ init .py’, line 13, in <module> 


from tensorflow. core. framework. graph pb2 import ** 








File "/usr/local/lib/python2. 7/site-packages/tensorflow/core/framework/tensor shape pb2.py/, line 22, in «module» 
serialized pb- b( Wn, tensorflow/core/framework/tensor shape. proto WXxl2WntensorflowV d\n\xl0TensorShapeProto\x12-\n\ 


TypeError: | init () got an unexpected keyword argument ' syntax 
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这 是 由 于 安装 了 冲突 的 protobuf 版 本 引起 的 ，TensorFlow 需要 的 是 protobuf 3.0.0. 当前 最 好 的 解决 方案 是 
确保 没有 安装 旧版 本 的 protobuf， 可 以 使 用 以 下 命令 重新 安装 protobuf 来 解决 冲突 : 























brew reinstall --devel protobuf 


原文 [Download and Setuphref-"http://tensorflow.org/get started/os setup. md”) 翻译 6doc001 校 


对 : GOyangtze 


ww ai bbt. com [1 D DD U U UI 


基本 使 用 





使 用 图 





在 被 称 之 为 











TensorFlow 是 一 个 编程 系统 ， 使 用 
获得 0 个 或 多 个 Tensor ， 执 行 计算 ， 产 生 0 个 或 多 个 
如 ， 你 可 以 将 一 小 组 

















使 用 TensorFlow， 你 必须 明 





Zik (Session) 


使 用 tensor 表示 数据 . 


(Variable) 














区 
























































BERRIN 


和 TensorFlow: 


(graph) 来 表示 计算 任务 . 





的 上 下 文 (context) 中 执行 图 . 


维护 状态 . 








使 用 feed 和 fetch 可 以 为 任意 的 操作 (arbitrary operation) 赋值 或 者 从 其 中 获取 数据 . 








Va 


g 中 的 节点 被 称 之 为 op (operation 的 缩写 ). 一 个 o 


p 








来 表示 计算 任务 . 























Tensor .每 个 Tensor 是 一 个 类 型 化 的 多 维 数组 ， 例 
四 维 浮 点 数 数组 ， 这 四 个 维度 分 别 是 [batch, height, width, channels] . 













































































































































































一 个 TensorFlow 图 珍 达 了 计算 的 过 程 ， 为 了 进行 计算 ， 图 必须 在 会 话 里 被 启动 . 会 话 将 图 的 op 分 发 到 
诸如 CPU 或 GPU 之 类 的 设备 ” 上， 同时 提供 执行 op 的 方法 .这 些 方法 执行 后 ， 将 产生 的 tensor 返回 . $E P 
ython 语言 中 ， 返 回 的 tensor 是 numpy ndarray 对 象 ; Æ C 和 C++ 语言 中 ， 返 回 的 tensor 是 tensorflo 
wiiTensor 实例 . 

| 计算 图 

TensorFlow 程序 通常 被 组 织 成 一 个 构建 阶段 和 一 个 执行 阶段 ， 在 构建 阶段 ，op 的 执行 步骤 被 描述 成 一 个 图 .在 
执行 阶段 ， 使 用 会 话 执行 执行 图 中 的 op. 

例如 ， 通 常 在 构建 阶段 创建 一 个 图 来 表示 和 训练 神经 网 络 ， 然 后 在 执行 阶段 反复 执行 图 中 的 训练 op. 

TensorFlow 支持 C, C++, Python 编程 语言 ， 目前 ，TensorFlow 的 Python 库 更 加 易 用 ， 它 提供 了 大 量 的 辅助 
函数 来 简化 构建 图 的 工作 ， 这 些 函 数 尚 未 被 C 和 C++ 库 支 持 . 

三 种 语言 的 会 话 库 (session libraries) 是 一 致 的 . 
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构建 图 的 第 一 步 ， 是 创建 源 op (source op). W op 不 需要 任何 输入 ， 例 如 常量 (Constant) ， 源 op 的 输出 
被 传递 给 其 它 op 做 运算 . 














Eat 








Python 库 中 ，op 构造 器 的 返回 值 代表 被 构造 出 的 op 的 输出 





这 些 返 回 值 可 以 传递 给 其 它 op 构造 器 作为 输入 . 

















TensorFlow Python 库 有 一 个 默认 图 (default graph), op 构造 器 可 以 为 其 增加 节点 . 这 个 默认 图 对 许多 程序 
来 说 已 经 足够 用 了 . 阅读 Graph 类 文档 来 了 解 如 何 管理 多 个 图 . 

















import tensorflow as tf 
# 创建 一 个 常量 op， 产 生 一 个 1x2 &BEE. X€4* op 被 作为 一 个 节点 


# 加 到 默认 图 中 . 





# 

# 构造 器 的 返回 值 代表 该 常量 op 的 返回 值 . 
matrixil = ii constant (I3, 2 I1) 

# 创建 另外 二 个 常量 op， 产 生 一 个 2x1 ARE. 
matrix2 = tf.constant([[2. I [2. ]]) 

# 创建 一 个 矩阵 乘法 matmul op ， 把 matrixl 和 “matrix2 ”作为 输入 . 
& 返回 值 " product! WRR RERA Zi 


product = tf.matmul(matrixl, matrix2) 











默认 图 现在 有 三 个 节点 ， 两 个 constantO op， 和 一 个 matmul ) op. Jy f EGQEXEGAÓRPEIHSS SE, JE EEE 
乘法 的 结果 ， 你 必须 在 会 话 里 启动 这 个 图 . 





























在 一 个 会 话 中 启动 图 








构造 阶段 完成 后 ， 才 能 启动 图 ， 启 动 图 的 第 一 步 是 创建 一 个 Session 对象， 如 果 无 任何 创建 参数 ， 会 话 构造 器 
将 启动 默认 图 . 














欲 了 解 完整 的 会 话 API， 请 阅读 Session 类 . 


# 启动 默认 图 . 
sess = tf.Session() 
# 调用 sess 的 rungO ”方法 来 执行 矩阵 乘法 op, RA product 作为 该 方法 的 参数 . 


# 上 面 提 到 ，’” product” 代 表 了 和 矩阵 乘法 op 的 输出 ， 传 入 它 是 向 方法 表明 ， 我 们 希望 取 回 
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# 和 矩阵 乘法 op 的 输出 . 


# 整个 执行 过 程 是 自动 化 的 ， 会 话 负责 传递 op 所 需 的 全 部 输入 .op 通常 是 并 发 执行 的 . 


# 函数 调用 “run product) ”和 触发 了 图 中 三 个 op (两 个 常量 op 和 一 个 矩阵 乘法 op) 的 执行 . 


# 返回 值 result 是 一 个 numpy ndarray 对 象 . 


result = sess. run (product) 
print result 


# ==> [[ 12.]] 


# 任务 完成 ， 关 闭会 话 . 


sess. close() 






































H] 
[sr 


Session 对 象 在 使 用 完 后 需要 关闭 以 释放 资源 ， 除 了 显 式 调用 close 外 ， 也 可 以 使 用 “with” 代 码 块 来 自动 完 
成 关闭 动作 . 











with tf.Session() as sess: 
result = sess. run ([product]) 
print result 











在 实现 上 ，TensorFlow 将 图 形 定 义 转换 成 分 布 式 执行 的 操作 ， 以 充分 利用 可 用 的 计算 资源 (如 CPU 或 GPU). 一 
般 你 不 需要 显 式 指定 使 用 CPU 还 是 GPU, TensorFlow 能 自动 检测 .如 果 检 测 到 GPU, TensorFlow 会 尽 可 能 地 利 
用 找到 的 第 一 个 GPU 来 执行 操作 . 









































如 果 机 器 上 有 超过 一 个 可 用 的 GPU， 除 第 一 个 外 的 其 它 GPU 默认 是 不 参与 计算 的 ,为 了 让 TensorFlow 使 用 这 些 
GPU， 你 必须 将 op 明确 指派 给 它们 执行 . with... Device 语句 用 来 指派 特定 的 CPU 或 GPU 执行 操作 : 

















with tf.Session() as sess: 
with tf. device("/gpu:1^): 
matrixl - tf.constant([[3., 3.]1]) 
matrix2 — tf.constant (U2 l BID 
product = tf.matmul(matrixl, matrix2) 























设备 用 字符 串 进行 标识 ， 目 前 支持 的 设备 包括 : 





e "/cpu:0^ : 机 器 的 CPU. 


e “/gpu:0”: 机 器 的 第 一 个 GPU， 如 果 有 的 话 . 














e "/gpu:l^ : 机 器 的 第 二 个 GPU， 以 此 类 推 . 
































阅读 使 用 GPU 章节 ， 了 解 TensorFlow GPU 使 用 的 更 多 信息 . 
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| 交互 式 使 用 





文档 中 的 Python 示例 使 用 一 个 会 话 Session 








为 了 便于 使 用 诸如 IPython 之 类 的 Python 交互 环境 ， 可 以 使 用 InteractiveSession 代替 
Tensor. eval) 和 Operation.runO 方法 代替 Session.run( . 


4 进入 一 个 交互 式 TensorFlow 会 话 . 


import tensorflow as tf 
sess - tf. InteractiveSession() 


x= tf.Variable([1.0, 2.0]) 
a= TEE, Costeni ona 


! 














来 启动 图 ， 并 调用 Session. run() 方法 执行 操作 . 


























这 样 可 以 避免 使 用 一 个 变量 来 持 有 会 话 . 








# 使 用 初始 化 器 initializer op 的 runO 方法 初始 化 “x 


x. initializer. run() 
# 增加 一 个 减法 sub op, JA 'x WE’ 
sub - tf.sub(x, a) 


print sub. eval Q 
8 — [-2. 1] 


| Tensor 








a .运行 减法 op, 


出 结 u 


TensorFlow 程序 使 用 tensor 数据 结构 来 代表 所 有 的 数据 ， 计 算 图 中 ， 操 作 间 传递 的 数据 都 是 tensor. 你 可 以 


把 TensorFlow tensor 看 作 是 一 个 n 维 的 数组 或 列表 . 

















一 个 tensor 包含 一 个 静态 类 型 rank， 和 一 个 shape. 


想 了 解 TensorFlow 是 如 何 处 理 这 些 概念 的 ， 参 见 Rank，Shape， 和 Type. 


EL 
Atm 
| 
























































Variables for more details. 变量 维护 图 执行 过 程 中 的 状态 信息 .下 面 的 例子 演示 了 如 何 使 用 变量 实现 一 个 简 











单 的 计数 器 .参见 变量 章节 了 解 更 多 细节 . 














# 创建 一 个 变量 ， 初 始 化 为 标量 0. 


state - tf.Variable(0, name-"counter") 














# 创建 一 个 op， 其 作用 是 使 state 增加 1 


one - tf. constant (1) 
new value - tf.add(state, one) 
update = tf.assign(state, new value) 
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Session 2$, 4f 





H 


HE 


ES: 


init op - tf 


# 启动 图 ， 运 行 


with t 
sess. 
& 1 
print 
for 


启动 图 后 ， 


首先 必须 增 


= sta 


ÍT op, 


ls -E 
As [3 


X 


川 


op 


RSen co sessi 
HE CS 


op 

it op) 

te' 的 初始 值 
sess. run (state) 
EBG3m 'state', 
in range (3): 


run (in 





sess. run (update) 








pri 


dt 


代码 中 





nt sess.run(state) 





BERI 





assign () 








通常 会 将 一 个 统计 模型 中 的 参数 表示 为 一 组 变量 .例如 ， 你 可 以 将 一 个 
在 训练 过 程 中 ， 通 


tensor FH. 


Fetch 


为 了 取 





inputl 
input2 
input3 
intermed 
mul - tf 


with tf. 


回 操作 的 输 
or 会 帮助 你 取 





























必须 先 经 过 初始 化 


个 初始 化 


所 描绘 的 表达 式 的 一 部 分 ， 正 如 add 0 
局 并 不 会 真正 执行 赋值 操作 . 


(init) op 初始 化 ， 


op 到 图 中 . 


initialize all variables () 


FATE. state? 



































过 重复 运行 训练 图 








, WX tensor. 




















tf. constant (3. 0) 
tf. constant (2. 0) 
tf. constant (5. 0) 


内容， 可 以 在 使 用 Session 对 象 的 runO 
回 结果 ， 在 之 前 的 例子 里 ， 我 们 只 取 





操作 一 相 


TH 




















调 




















加 了 单个 节点 








= tf.add(input2, input3) 
.mul(inputl, intermed) 


Session() as sess: 


result - sess.run([mul, intermed]) 
print result 


8 输出 : 


4 [array([ 21. ], dtype-float32), array([ 7.], 








需要 获取 的 多 个 tensor fü. Æ op 的 一 次 运 





dtype-float32)] 


NA A. 














TPE NEEESE} 
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H 执行 图 时 ， 传 入 一 些 


stattet, 但 是 你 也 可 以 取 


KH tensor) 。 


. 所 以 在 调用 | run O 





执行 表达 式 


经 网 络 的 权重 作为 某 个 变量 存储 在 一 个 











tensor， 这 些 tens 





回 多 个 tensor: 


| Feed 




















上 述 示例 在 计算 图 中 引入 了 tensor， 以 常量 或 变量 的 形式 存储 . TensorFlow 还 提供 了 feed 机 制 ， 该 机 制 可 以 
临时 替代 图 中 的 任意 操作 中 的 tensor. 可 以 对 图 中 任何 操作 提交 补丁 ， 直 接 搬入 一 个 tensor. 















































feed 使 用 一 个 tensor 值 临时 替换 一 个 操作 的 输出 结果 .你 可 以 提供 feed 数据 作为 run0， 调用 的 参数 ，feed 
只 在 调用 它 的 方法 内 有 效 ， 方 法 结束 ，feed 就 会 消失 ， 最 常见 的 用 例 是 将 某 些 特殊 的 操作 指定 为 “feed”″” 操作， 
标记 的 方法 是 使 用 tf.placeholder () 为 这 些 操作 创建 占 位 符 . 












































inputl - tf. placeholder (tf. types. f10at32) 
input2 - tf.placeholder(tf. types. f10at32) 
output = tf.mul(inputl, input2) 





with tf.Session() as sess: 
print sess.run([output], feed dict-(inputl:[7. ], input2:[2.])) 


8 输出 : 


4 [array([ 14.], dtype-float32)] 











for a larger-scale example of feeds. 如 果 没 有 正确 提供 feed, placeholderO ”操作 将 会 产生 错误 . MNIST 
连通 feed 教程 (source code) 给 出 了 一 个 更 大 规模 的 使 用 feed 的 例子 . 





n4 














原文 : [Basic Usagehref-"http://tensorflow.org/get started/basic usage.md^) 翻译 : @doc001 校对 : @ya 


ngtze 


ww ai bbt. com [1 D DO U U UI 


教程 
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| 面向 机 器 学 习 初学 者 的 MNIST 初级 教程 














如 果 你 是 机 器 学 习 领 域 的 新 手 ， 我 们 推荐 你 从 本 文 开 始 阅 读本 文通 过 讲述 一 个 经 典 的 问题 ， 手 写 数字 识别 NI 
ST)， 让 你 对 多 类 分 类 (multiclass classification) 问题 有 直观 的 了 解 . 


阅读 教程 




















| 面向 机 器 学 习 专家 的 MNIST 高 级 教程 








如 果 你 已 经 对 其 它 深度 学 习 软 件 比 较 熟 悉 ， 并 且 也 对 MNIST 很 熟悉 ， 这 篇 教程 能 够 引导 你 对 TensorFlow 有 初步 


了 解 . 





阅读 教程 














| TensorFlow 使 用 指南 








这 是 一 篇 技术 教程 ， 





Dr 














阅读 教程 


| 卷 积 神经 网 络 


这 篇 文章 介绍 了 如 何 使 用 TensorFlow 在 CIFAR-10 数据 集 上 训练 卷 积 神经 网 络 ， 卷 积 神经 网 络 是 为 图 像 识别 量 
身 定做 的 一 个 模型 ， 相 比 其 它 模 型 ， 该 模型 利用 了 平移 不 变性 (translation invariance)， 从 而 能 够 更 更 简洁 有 





效 地 表示 视觉 内 容 . 


阅读 教程 

















介绍 了 如 何 使 用 TensorFlow 架构 训练 大 规模 模型 ， 本文 继 续 使 用 MNIST 作为 例子 
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| 单词 的 向 量 表示 


























本 文 让 你 了 解 为 什么 学 会 使 用 向 量 来 表示 单词 ， 即 单词 内 套 (word embedding)， 是 一 件 很 有 用 的 事情 .文章 中 介 
绍 的 word2vec 模型 ， 是 一 种 高 效 学 习 骨 套 的 方法 ， 本文 还 涉及 了 对 比 噪声 (noise-contrastive) 训练 方法 的 一 
些 高 级 细节 ， 该 训练 方法 是 训练 嵌 套 领域 最 近 最 大 的 进展 . 






























































阅读 教程 


| 循环 神经 网 络 (Recurrent Neural Network， 简 称 RNN) 














一 篇 RNN 的 介绍 文章 ， 文 章 中 训练 了 一 个 LSTM 网 络 来 预测 一 个 英文 句子 的 下 一 个 单词 (该 任务 有 时 候 被 称 作 语 


言 建 模 ). 














阅读 教程 


序列 到 序列 模型 (Sequence-to-Sequence Model) 























RNN 教程 的 后 续 ， 该 教程 采用 序列 到 序列 模型 进行 机 器 翻译 ， 你 将 学 会 构建 一 个 完全 基于 机 器 学 习 , 端 到 端的 X 


语 -法 语 MVEA. 














阅读 教程 


| Mandelbrot 集合 





TensorFlow 可 以 用 于 与 机 器 学 习 完 全 无 关 的 其 它 计 算 领 域 . 这 里 实现 了 一 个 原生 的 Mandelbrot 集合 的 可 视 化 程 
序 . 











阅读 教程 





| 偏 微分 方程 























这 是 男 外 一 个 非 机 器 学 习 计 算 的 例子 ， 我 们 利用 一 个 原生 实现 的 偏 微分 方程 ， 对 雨滴 落 在 池塘 上 的 过 程 进 行 仿真 . 














阅读 教程 


ww ai bbt. com [1 D DL ED U U UI 


| MNIST 数据 下 载 














一 篇 关于 下 载 MNIST 手写 识别 数据 集 的 详细 教程 . 

















阅读 教程 





| 视觉 物体 识别 (Visual Object Recognition) 

















我 们 将 坚 无 保留 地 发 布 已 经 选 训练 好 的 ， 目 前 最 先进 的 Inception 物体 识别 模型 . 








Deep Dream 视 幻 觉 软件 














我 们 将 发 布 一 个 TensorFlow 版 本 的 Deep Dream, 这 是 一 款 基 于 Inception 识别 模型 的 神经 网 络 视 幻觉 软件 . 








JR: Overview 翻译 : @doc001 校对 : Geric xu 
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MNIST 机 器 学 习 入 门 


这 个 教程 有 的 月 奈 读 者 是 邓 机 奏 学 习 和 TensorFjow 吉 不 太 了 了解 的 新 手 。 如 入 你 已 经 了 解 WMNTST 和 softmax 右 妇 (softma 








x regression) 的 相关 知识 ， 


IK 


我 们 开始 学 习 编程 的 时 候 ， 
习 入 门 有 MNIST。 


第 一 件 





事 往往 是 














MNIST 是 一 个 入 门 级 的 计算 机 视觉 数据 集 ， 


它 包 含 名 种 手写 数字 图 


IKET A IEX NRE EFFE. 


学 习 打 Ej”Hello World”. 








H: 


siola 


它 也 包含 每 一 张 图 





在 此 教程 中 ， 我 们 将 训练 : 
杂 模 型 一 尽管 我 们 会 在 之 后 给 你 源 代 码 去 实现 一 
以 ， 我 们 这 里 会 从 一 个 很 简单 的 数学 模型 开始 ， 












































很 简 : 


-个 机 器 学 习 模型 用 于 预测 图 


片 对 应 的 标签 ， 告 诉 我 们 这 个 是 数字 几 。 比 如 ， 





FT UU 














HH 








E 面 的 数字 。 我 








门 的 目 
































对 应 这 个 教程 的 实现 代码 很 短 ， 而 
面 的 设计 是 
代码 的 实 3 


且 真 正 有 意 / 
作 流 




















owl 











思想 是 非常 重要 的 : TensorF 
现 原 理 。 








| MNIST 数 据 集 





MNIST 数 据 集 的 官网 是 Yann LeCun s website. 


m 内 容 只 包含 在 
i 程 和 机 器 学 习 的 基本 概念 。 因 


在 这 里 ， 




















的 不 是 要 设计 一 个 世 
- 流 的 预测 模型 -- 而 是 要 介绍 下 如 何 使 用 TensorFlow。 所 


它 叫 做 Softmax Regression。 





图 片 的 标签 分 别 是 5，0，4， 





pa 


就 好 比 编程 入 门 有 Hello Worl1d， 机 器 学 


1。 





- 流 的 复 








1 








J 代码 上 




















我 们 提 








据 集 。 你 可 以 下 载 这 份 代码 ， 
面 。 


import input data 
mnist = input data.read data sets( MNIST data/^ 





下 载 下 来 的 数据 集 被 分 成 两 部 分 ，60000 行 的 训练 数据 集 C mist. train ) 和 
个 单独 的 测试 数据 集 不 


) 。 这 样 的 切 分 很 重要 ， 在 机 器 学 习 模 型 闪 

















然后 用 下 面 的 代码 导入 到 你 的 项 目 


发 计时 必须 有 

















J= 











one_hot=True) 














型 的 性 能 ， 从 而 更 加 容易 把 设计 的 模型 








E 广 到 其 他 数据 集 








EE 面 。 但 是 


- 份 python 源 代码 用 于 
里 耐 ， 也 可 以 直接 复 币 


10000 行 的 测试 数据 


， 去 理解 包含 好 


E 这 些 代码 里 
































此 ， 这 个 教程 会 很 详 





























4E 








地 介 


站 绍 这 些 


9 动 下 载 和 安装 这 个 数 
| 粘贴 到 你 的 代码 文件 














um 





Æ ( mist. tes 























E (汉化 ) 。 
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于 训练 而 是 








iei 





F 估 这 个 模 


正如 前 





这 些 图 
是 Em 





图 





面 提 到 的 一 样 
片 设 为 “xs”， 


nist. train. images 





片 包含 28X28 个 像素 点 。 我 








我 们 
各 个 加 











巴 这 个 数组 展 玫 


F 成 - 





片 采 用 相同 的 方式 展 姑 


， 每 一 个 MNIST 数 据 


把 这 些 标签 设 为 “ys”。 











:元 有 两 部 分 








， 训 练 数据 集 的 标签 是 mni 








门 可 以 用 一 个 数字 


个 向 量 





训练 数据 集 和 测试 数据 集 都 包含 xs 和 ys， 比 如 训练 数据 集 的 图 


E, IHR 28x28 = 784. WER 





组 成 : 一 张 包 含 手写 数学 的 图 片 和 一 个 对 应 的 标签 。 我 们 把 




















片 


st. train. Labels 。 

















XL. DC — v 

数组 来 表示 这 张 图 片 ， 
0 0 0 00 0 0 0 0 0 0 0 0 0 
0 o 0 0 0 0 0 0 0 0 0 0 0 0 
o 0 o o o o Bj BN o o o o 0 o 
o o o o o o Bj MB. o o o o 0 o 
o 0 o 0o o o Bj BM o0 o o o o o 
o 0000 o0 Bj BM BW o o o o o 
wo B B o o o0 0 
ode ooo o » BM B o o o o o 
o 00000 o lg Bj o o o o o 
o 00000 0 W WM » 9 o 0 » 
o 00000 o B BM 3 o o o o 
0 0 0 o 0 0 0 E E 7 o o o o 
o o o 0.0 o 0 0 0 0 0 0 0 0 
0 o o 00 0 0 0 0 0 0 0 0 0 

rs y - y M a P 
F 这 个 数组 〈 数 字 间 的 顺序 ) 不 重要 ， 只 要 保持 
ENS h- ^ t m 
图 片 就 是 在 784 维 向 量 空间 里 面 的 点 ， 并 且 拥 有 





F。 从 这 个 角度 来 看 ，MNIST 数 据 集 的 
























































比较 复杂 的 结构 (提醒 : 此 类 数据 的 可 视 化 是 计算 密集 型 的 ) 。 


展 平 图 














片 的 数字 数组 会 丢失 图 





























HI HESS ME RS Ix 




















些 结构 信息 ， 我 们 会 在 后 续 教程 
































回归 (softmax regressio 





介绍。 但 是 在 这 个 教程 


然 是 不 理想 的 ， 最 优秀 的 计算 机 视觉 方法 会 挖 据 并 利用 这 












































n) ， 不 会 利用 这 些 结构 信息 。 






































我 们 忽略 这 些 结构 ， 所 介绍 的 简单 数学 模型 ，softmax 
















































































因此 ， 在 MNIST 训 练 数据 集中 ， mnist. train. images 是 一 个 形状 为 ”[60000，784] 的 张 量 ， 第 一 个 维度 数字 用 来 
索引 图 片 ， 第 二 个 维度 数字 用 来 索引 每 张 图 片 中 的 像素 点 。 在 此 张 量 里 的 每 一 个 元 素 ， 都 表示 某 张 图 片 里 的 某 个 
像素 的 强度 值 ， 值 介 于 0 和 1 之 间 。 
mnist.train.xs 
784 d E 
60000 
相对 应 的 MNIST 数 据 集 的 标签 是 介 于 0 到 9 的 数字 ， 用 来 描述 给 定 图 片 里 表示 的 数字 。 为 了 用 于 这 个 教程 ， 我 们 使 标 


签 数 据 是 “one-hot vectors". 


g 














ERE MOR 
此 ， 























一 个 one-hot 向 量 除了 某 一 位 的 数字 是 1 以 外 其 余 各 给 
， 数 字 n 将 表示 成 一 个 只 有 在 第 


成 ([1L 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]) 。 因 


mnist. train. 

















ini 


E 度 数字 都 是 0。 所 以 在 此 教程 






































F 始 ) 数字 为 1 的 10 维 向 量 。 比 如 ， 标 签 0 将 表示 
labels 是 一 个 [60000, 10] 的 数字 矩阵。 
mnist.train.ys 



































60000 
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现在 ， 我 们 准备 好 可 以 开始 构建 我 们 的 模型 啦 ! 























| Softmax 回 归 介绍 


我 们 知道 MNIST 的 每 一 张 图 片 都 表示 一 个 数字 ， 从 0 到 9。 我 们 希望 得 到 给 定 图 片 代表 每 个 数字 的 概率 。 比 如 说 ， 我 
们 的 模型 可 能 推测 一 张 包含 9 的 图 片 代表 数字 9 的 概率 是 80% 但 是 判断 它 是 8 的 概率 是 5% 《因为 8 和 9 都 有 上 半 部 分 的 
小 圆 》， 然 后 给 予 它 代 表 其 他 数字 的 概率 更 小 的 值 。 


















































这 是 一 个 使 用 softmax 回 归 (softmax regression) 模型 的 经 典 案 例 。softmax 模 型 可 以 用 来 给 不 同 的 对 象 分 配 概 
率 。 即 使 在 之 后 ， 我 们 训练 更 加 精细 的 模型 时 ， 最 后 一 步 也 需要 用 softmax 来 分 配 概率 。 





























softmax 回 归 (softmax regression) 分 两 步 : 第 一 步 























为 了 得 到 一 张 给 定 图 片 属于 某 个 特定 数字 类 的 证 据 Cevidence) ， 我 们 对 图 片 像素 值 进行 加 权 求 和 。 如 果 这 个 像 
素 具 有 很 强 的 证 据说 明 这 张 图 片 不 属于 该 类 ， 那 么 相应 的 权 值 为 负数 ， 相 反 如 果 这 个 像素 拥有 有 利 的 证 据 文 持 这 
张 图 片 属于 这 个 类 ， 那 么 权 值 是 正 数 。 



























































7 
X 











面 的 图 片 显 示 了 一 个 模型 学 习 到 的 图 片上 每 个 像素 对 于 特定 数字 类 的 权 值 。 红 色 代表 负数 权 值 ， 蓝 色 代 表 正 数 


权 值 。 
0 1 2 3 4 
5 6 7 8 9 


RIE ERIMASA Cias), HAMARS RA EER FE. KER FA E A [E 
x 它 代表 的 是 数字 i 的 证 据 可 以 表示 为 
















































































S 
3E 








| 





























evidence; — ` W; jz; 4 bi 
j 





N 
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BS 
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M. j 代表 给 定 图 片 x 的 像素 索引 用 于 像素 求 和 。 然 后 用 softmax 孙 数 可 以 把 这 些 证 据 转 换 








代表 数字 i 类 的 71 
成 概率 y: 


zr 
T 
iz 




















y = softmax(evidence) 











这 里 的 softmax 可 以 看 成 是 一 个 激励 activation) 函数 或 者 链接 Cink) 函数 ， 把 我 们 定义 的 线性 函数 的 输出 转 
换 成 我 们 想 要 的 格式 ， 也 就 是 关于 10 个 数字 类 的 概率 分 布 。 因 此 ， 给 定 一 张 图 片 ， 它 对 于 每 一 个 数字 的 吻合 度 可 
以 被 softmax 函 数 转换 成 为 一 个 概率 值 。softmax 函 数 可 以 定义 为 : 





























softmax(z) = normalize(exp(z)) 


展开 等 式 右边 的 子 式 ， 可 以 得 到 |; 





exp(z;) 
»;exp(z;) 


softmax(r); = 








但 是 更 多 的 时 候 把 softmax 模 型 函数 定义 为 前 一 种 形式 : EAEE, EIE WU LIES ER AR HS AAE 
运算 表示 ， 更 大 的 证 据 对 应 更 大 的 假设 模型 (hypothesis) 里 面 的 乘 数 权重 值 。 反 之 ， 拥 有 更 少 的 证 据 意味 着 在 
假设 模型 里 面 拥有 更 小 的 乘 数 系数 。 假 设 模 型 里 的 权 值 不 可 以 是 0 值 或 者 负 值 。Softmax 然 后 会 正则 化 这 些 权重 
值 ， 使 它们 的 总 和 等 于 1， 以 此 构造 一 个 有 效 的 概率 分 布 。〈 更 多 的 关于 Softmax 函 数 的 信息 ， 可 以 参考 Michael N 
ieslen 的 书 里 面 的 这 个 部 分 ， 其 中 有 关于 softmax 的 可 交互 式 的 可 视 化 解释 。) 





























































































































再 输入 到 sof 





zi 
mE 
RIT 
XL 
m 
T 











对 于 softmax 回 归 模 型 可 以 用 下 面 的 图 解释 ， 对 于 输入 的 xs 加 权 求 和 ， 再 分 别 加 上 一 个 4 


tmax 函 数 中 ; 























十 01 | 一 一 —- (n) 


十 02 | —> 


十 03 | — — (us) 


xeuu3jos 
| 
© 
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如 有 果 把 它 写 成 一 个 等 式 ， 我 们 可 以 得 到 ; 

















yı Wiazi + Wizi + Wisti + bı 

Yə | = softmax W21 £2 4 W2 2 £2 4 W23 £2 + bə 

" VAS -- WBE + Wai + e 
我 们 也 可 以 用 向 量 表示 这 个 计算 过 程 : HEERA jS] RR. 08 BET e VW SERUR o 
考 方式 ) 

n wes was was [可 [i 

y2| = softmax | | Wa Wa» W23|.|22| + | bo 

ya Wai W323 W33) | | 














更 进一步 ， 可 以 写成 更 加 紧凑 的 方式 : 


y = softmax(Wz + b) 


| 实现 回归 模型 








(也 是 一 种 更 有 效 的 思 





为 了 用 python 实 现 高 效 的 数值 计算 ， 我 们 通常 会 使 用 函数 库 ， 比 如 NumPy， 会 把 类 似 咎 阵 乘 法 这 样 的 复杂 运算 使 用 





其 他 外 部 语言 实现 。 不 笠 的 是 ， 从 外 部 计算 切换 回 Python 的 每 一 个 操作 ， 仍 然 是 一 个 很 大 的 姑 
进行 外 部 计算 ， 这 样 的 开销 会 更 大 。 用 分 布 式 的 计算 方式 ， 也 会 花费 更 多 的 资源 用 来 传输 数据 。 
































F 销 。 如 果 你 用 GPU 来 




















TensorFlow 也 把 复杂 的 计算 放 在 python 之 外 完成 ， 但 是 为 了 避免 前 面 说 的 那些 开销 ， 它 做 了 进一步 完善 。Tensorf 




















low 不 单独 地 运行 单一 的 复杂 计算 ， 而 是 让 我 们 可 以 先 用 图 描述 一 系列 可 交互 的 计算 操作 ， 然 后 全 i 




















之 外 运行 。〔 这 样 类 似 的 运行 方式 ， 可 以 在 不 少 的 机 器 学 习 库 中 看 到 。) 











使 用 TensorFlow 之 前 ， 首 先导 入 它 : 








import tensorflow as tf 

















我 们 通过 操作 符号 变量 来 描述 这 些 可 交互 的 操作 单元 ， 可 以 用 下 面 的 方式 创建 一 个 : 

















x 7 ti placeholder float", None, 784]) 
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x 不 是 一 个 特定 的 值 ， 而 是 一 个 占 位 符 placeholder ， 我 们 在 TensorFlow 运 行 计 算 时 输入 这 个 值 。 我 们 希望 能 够 
输入 任意 数量 的 MNIST 图 像 ， 张 图 展 平成 784 维 的 向 量 。 我 们 用 2 维 的 浮 点 数 张 量 来 表示 这 些 图 ， 这 个 张 量 的 形 






























































状 是 [None, 784 ] 。〔 这 里 的 None 表示 此 张 量 的 第 一 个 维度 可 以 是 任何 长 度 的 。) 
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我 们 的 模型 也 需要 权重 值 和 侦 置 量 ， 当 然 我 们 可 以 把 它们 当做 是 另外 的 输入 《使 用 占 位 符 ) ， 但 TensorFlow 有 一 



































个 更 好 的 方法 来 表示 它们 :， Variable 。 一 个 Variable 代表 一 个 可 修改 的 张 量 ， 存 在 在 TensorFlow 的 用 于 描述 
交互 性 操作 的 图 中 。 它 们 可 以 用 于 计算 输入 值 ， 也 可 以 在 计算 中 被 修改 。 对 于 各 种 机 器 学 习 应 用 ， 一 般 都 会 有 模 
型 参数 ， 可 以 用 Variable 表示 。 
































f. Variable (tf. zeros ([784, 10])) 
f. Variable(tf. zeros ([10]) 























我 们 赋予 tf. Variable 不 同 的 初 值 来 创建 不 同 的 Variable : 在 这 里 ， 我 们 都 用 全 为 零 的 张 量 来 初始 化 W 和 


b 。 因 为 我 们 要 学 习 W 和 ob 的 值 ， 它 们 的 初 值 可 以 随意 设置 。 
























































全 度 是 [784，10] ， 因 为 我 们 想 要 用 784 维 的 图 片 向 量 乘 以 它 以 得 到 一 个 10 维 的 证 据 值 向 量 ， 每 一 位 对 















































应 不 同 数字 类 。 b 的 形状 是 [10]， 所 以 我 们 可 以 直接 把 它 加 到 输出 上 面 。 


现在 ， 我 们 可 




















以 实现 我 们 的 模型 啦 。 只 需要 一 行 代码 ! 


y = tf. nn. softmax (tf. matmul(x,W) + b) 


首先 ， 我 们 用 





Wz 





至 此 ， 我 们 先 











物理 学 模拟 仿 
手机 ! 





| 训练 模型 


为 了 训练 我 们 
标 来 表示 一 个 
种 方式 是 相同 


一 个 非常 常见 


码 技术 ， 但 是 


使 softmax 回 归 模 型 计算 变 得 特别 简单 ， 



















































































tf.matmul(X, W) 表示 x 乘 以 W， 对 应 之 前 等 式 里 面 的 
-个 2 维 张 量 拥有 多 个 输入 。 然 后 再 加 上 b ， 把 和 输入 到 tf. nn. softmax 函数 里 面 。 
用 了 几 行 简短 的 代码 来 设置 变量 ， 然 后 只 用 了 一 行 代码 来 定义 我 们 的 模型 。TensorFlow 不 仅仅 可 以 























nu 








它 也 用 这 种 非常 灵活 的 方式 来 描述 其 他 各 种 数值 计算 ， 从 机 器 学 习 模型 对 
真 模型 。 一 旦 被 定义 好 之 后 ， 我 们 的 模型 就 可 以 在 不 同 的 设备 上 运行 : 计算 机 的 CPU，GPU， 甚 至 是 












































的 模型 ， 我 们 首先 需要 定义 一 个 指标 来 评估 这 个 模型 是 好 的 。 其 实 ， 在 机 器 学 习 ， 我 们 通常 定义 指 
模型 是 坏 的 ， 这 个 指标 称 为 成 本 (cost) 或 损失 (1oss) ， 然 后 尽量 最 小 化 这 个 指标 。 但 是 ， 这 两 












































的 。 
的 ， 非 常 漂亮 的 成 本 函数 是 “ 交 又 焙 ” (cross-entropy) o EURITE T 3 E Ve E a AE S Hs Aor £i 


























它 后 来 演变 成 为 从 博弈 论 到 机 器 学 习 等 其 他 领域 里 的 重要 技术 手段 。 它 的 定义 如 下 : 
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Hy (y) = — >, ylog(y;) 


y 是 我 们 预测 的 概率 分 布 ，Y ”是 实际 的 分 布 〈 我 们 输入 的 one-hot vector). KEALE E REMAR 
衡量 我 们 的 预测 用 于 描述 真相 的 低 效 性 。 更 详细 的 关于 交叉 烂 的 解释 超出 本 教程 的 范 畴 ， 但 是 你 很 有 必要 好 好 理 
解 它 。 












































为 了 计算 交叉 米 ， 我 们 首先 需要 添加 一 个 新 的 占 位 符 用 于 输入 正确 值 : 

















y - tf.placeholder( Moat [None, 10]) 


然后 我 们 可 以 用 
— My! log(y): 


HRU: 
cross entropy = -tf. reduce_sum(y_*tf. log(y)) 

首先 ， 用 tf.log 计算 y 的 每 个 元 素 的 对 数 。 接 下 来 ， 我 们 把 y ”的 每 一 个 元 素 和 tf. logy) 的 对 应 元 素 
相 乘 。 最 后 ， 用 tf.reduce sum 计算 张 量 的 所 有 元 素 的 总 和 。 注意， 这 里 的 交叉 箭 不 仅仅 用 来 衡量 单一 的 一 
对 预测 和 真实 值 ， 而 是 所 有 100 幅 图 片 的 交叉 烂 的 总 和 。 对 于 100 个 数据 点 的 预测 表现 比 单一 数据 点 的 表现 能 更 好 
地 描述 我 们 的 模型 的 性 能 







































































现在 我 们 知道 我 们 需要 我 们 的 模型 做 什么 啦 ， 用 TensorFlow 来 训练 它 是 非常 容易 的 。 因 为 TensorFlow 拥 有 一 张 描 
述 你 各 个 计算 单元 的 图 ， 它 可 以 自动 地 使 用 反 向 传播 算法 (backpropagation algorithm) 来 有 效 地 确定 你 的 变量 是 
如 何 影响 你 想 要 最 小 化 的 那个 成 本 值 的 。 然 后 ，TensorFlow 会 用 你 选择 的 优化 算法 来 不 断 地 修改 变量 以 降低 成 
本 。 







































































train step = tf. train. GradientDescentOptimizer(0.01).minimize(cross entropy) 

















在 这 里 ， 我 们 要 求 TensorFlow 用 梯度 下 降 算 法 (gradient descent algorithm) 以 0.01 的 学 习 速 率 最 小 化 交叉 
Hio METEIS (gradient descent algorithm) 是 一 个 简单 的 学 习 过 程 ，TensorFlow 只 需 将 每 个 变量 一 点 点 
地 往 使 成 本 不 断 降 低 的 方向 移动 。 当 然 TensorFlow 也 提供 了 其 他 许多 优化 算法 : 只 要 简单 地 调整 一 行 代码 就 可 以 
使 用 其 他 的 算法 。 

























































































TensorFlow 在 这 里 实际 上 所 做 的 是 ， 它 会 在 后 台 给 描述 你 的 计算 的 那 张 图 里 面 增加 一 系列 新 的 计算 操作 单元 用 于 
实现 反 向 传播 算法 和 梯度 下 降 算 法 。 然 后 ， 它 返回 给 你 的 只 是 一 个 单一 的 操作 ， 当 运行 这 个 操作 时 ， 它 用 梯度 下 
降 算法 训练 你 的 模型 ， 微 调 你 的 变量 ， 不 断 减 少 成 本 。 
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现在 ， 我 们 已 经 设置 好 了 我 们 的 模型 。 在 运行 计算 之 前 ， 我 们 需要 添加 一 个 操作 来 初始 化 我 们 创建 的 变量 : 




















init = tf. initialize all variables 











现在 我 们 可 以 在 一 个 Session 里 面 启动 我 们 的 模型 ， 并 且 初 始 化 变量 : 











sess — tf.Session() 
sess. run (init) 











然后 开始 训练 模型 ， 这 里 我 们 让 模型 循环 训练 1000 次 ! 








for i in range (1000): 


batch xs, batch ys - mnist. train.next batch(100) 


sess.run(train step, feed dict-íx: batch xs, y : 


该 循环 的 每 个 步骤 中 ， 我 们 都 会 随机 抓 取 训 练 数据 








过 前 的 占 位 符 来 运行 train step 。 



































评估 我 们 的 模型 


那么 我 们 的 模型 性 能 如 何 呢 ? 























的 其 数据 最 大 值 所 在 的 索引 值 。 




















首先 让 我 们 找 出 那些 预测 正确 的 标签 。 











tf. argmax 























用 tf.equal 来 检测 我 们 的 预测 





correct prediction = tf.equal 


pera 


是 一 个 非常 有 用 的 函数 ， 它 能 给 出 某 个 tensor 对 象 在 某 一 维 上 
由 于 标签 向 量 是 由 0, 1 组 成 ， 因 此 最 大 值 1 所 在 的 索引 位 置 就 是 类 别 标签 ， 比 如 tt 














batch ys}) 


的 100 个 批 处 理 数据 点 ， 然 后 我 们 用 这 些 数据 点 作为 参数 替换 
































使 用 一 小 部 分 的 随机 数据 来 进行 训练 被 称 为 随机 训练 Cstochastic training) - 在 这 里 更 确切 的 说 是 随机 梯度 下 
降 训 练 。 在 理想 情况 下 ， 我 们 希望 用 我 们 所 有 的 数据 来 进行 每 一 步 的 训练 ， 因 为 这 能 给 我 们 更 好 的 训练 结果 ， 但 
显然 这 需要 很 大 的 计算 开销 。 所 以 ， 每 一 次 训练 我 们 可 以 使 用 不 同 的 数据 子 集 ， 这 样 做 既 可 以 减少 计算 开销 ， 又 
可 以 最 大 化 地 学 习 到 数据 集 的 总 体 特 性 。 




























































































f. argmax (y, 1) 返回 的 是 模型 对 于 任 一 输入 x 预 测 到 的 标签 值 ， 而 tf.argmax(y ,1) 代表 正确 的 标签 ， 我 们 可 以 






































签 匹 配 (索引 位 置 一 样 表示 匹配 ) 。 











gmax (y, 1), tf.argmax(y ,1)) 

















这 行 代码 会 给 我 们 一 组 布尔 值 。 为 了 胡 


fü. fü, [True, False, True, True] 


XE IE 
会 变 成 





Zu 











和 预测 项 的 比例 ， 我 们 可 以 把 布尔 值 转换 成 浮 点 数 ， 然 后 取 平 均 
[1,0,1,1] ， 取 平均 值 后 得 到 0.75. 











accuracy = tf.reduce mean(tf.cast(correct prediction, "float^)) 


最 后 ， 我 们 计算 所 学 习 到 的 模型 在 测试 数据 集 -| 














Lift E] E 














print sess.run(accuracy, feed dict-í(x: mnist. test. images, y : mnist. test. labels]) 


这 个 最 终结 果 值 应 该 大 约 是 91%。 
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这 个 结果 好 吗 ? "8 





首 不 太 好 。 事 实 上 ， 











过 ， 做 一 些小 小 的 改进 


























比 结果 更 重要 的 是 ， 我 们 从 这 个 模型 
里 你 可 以 学 习 如 何 用 Tensor 


下 一 个 教程 ， 在 


TN 

















， 我 们 就 可 以 得 到 97% 的 正确 率 。 最 好 的 模型 
解 更 多 信息 ， 可 以 看 看 这 个 关于 各 种 模型 的 性 能 对 比 列表 。) 





P3523 














这 个 结果 是 很 差 的 。 这 是 因为 我 们 仅仅 使 用 了 一 个 非常 简单 的 模型 。 不 










































































+ 至 可 以 获得 超过 99.7% 的 准确 率 ! ( 想 了 











的 设计 思想 。 不 过 ， 如 果 你 仍然 对 这 里 的 结果 有 点 失望 ， 可 以 查看 
Flow 构 建 更 加 复杂 的 模型 以 获得 更 好 的 性 能 ! 





原文 地 址 : [MNIST For ML Beginnershref-^ http: //tensorflow. org/tutorials/mnist/beginners/index. md”) 


翻译 : linbojin 校对 : 
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深入 MNIST 

















TensorFlow 是 一 个 非常 强大 的 用 来 做 大 规模 数值 计算 的 库 。 其 所 擅长 的 任务 之 一 就 是 实现 以 及 训练 深度 神经 网 
络 。 




















在 本 教程 中 ， 我 们 将 学 到 构建 一 个 TensorFlow 模 型 的 基本 步骤 ， 并 将 通过 这 些 步 骤 为 MNIST 构 建 一 个 深度 卷 积 神经 
网 络 。 





























及 个 教程 假设 你 已 经 熟悉 袖 经 网 络 和 MNIST 数 据 集 。 如 炭 你 尚 坟 了 解 ， 请 但 看 新 于 指南 . 





| 安装 





在 创建 模型 之 前 ， 我 们 会 先 加 载 MNIST 数 据 集 ， 然 后 启动 一 个 TensorFlow 的 session。 








加 载 MNIST 数 据 























n 
y» 


为 了 方便 起 见 ， 我 们 已 经 准备 了 一 个 脚本 来 自动 下 载 和 导入 MNIST 数 据 集 。 
录 来 存储 数据 。 


99 动 创建 一 个 “MNIST_data” 的 目 



































import input data 
mnist = input data. read data sets( MNIST data', one hot-True) 











这 里 ， mist 是 一 个 轻 量 级 的 类 。 它 以 Numpy 数 组 的 形式 存储 着 训练 、 校 验 和 测试 数据 集 。 同 时 提供 了 一 个 函 
数 ， 用 于 在 兴 代 中 获得 minibatch， 后 面 我 们 将 会 用 到 。 














运行 TensorFlow 的 InteractiveSession 























Tensorflow 依 赖 于 一 个 高 效 的 C++ 后 端 来 进行 计算 。 与 后 端的 这 个 连接 叫做 session。 一 般 而 言 ， 使 用 TensorFlow 
程序 的 流程 是 先 创 建 一 个 图 ， 然 后 在 session 中 局 动 它 。 






































这 里 ， 我 们 使 用 更 加 方便 的 InteractiveSession 类 。 通 过 它 ， 你 可 以 更 加 灵活 地 构建 你 的 代码 。 它 能 让 你 在 运行 
图 的 时 候 ， 揪 入 一 些 计算 图 ， 这 些 计算 图 是 由 某 些 操作 (operations) 构成 的 。 这 对 于 工作 在 交互 式 环 境 中 的 人 们 
来 说 非常 便利 ， 比 如 使 用 IPython。 如 果 你 没有 使 用 InteractiveSession ， 那 么 你 需要 在 启动 session 之 前 构建 整 
个 计算 图 ， 然 后 启动 该 计算 图 。 







































































import tensorflow as tf 
sess = tf. InteractiveSession() 





ww ai bbt. com [1 [1 DL D U U UI 


计算 图 











为 了 在 Python 中 进行 高 











但 遗憾 的 是 ， 每 - 


H 








或 Torch 的 做 法 类 





因此 Python 代码 的 目 


请 查看 基本 用 法 9 


F 销 更 加 可 怖 ， 这 一 开销 主要 可 


ow 也 是 在 Pyt 





























一 个 操作 切换 





回 Python 环境 时 仍 需要 不 小 的 姑 


























似 。 











FP 的 计算 图 表 一 节 。 


| 构建 Softmax 回归 模型 








网 络 的 softmax 回 





占 位 符 


我 们 通过 为 输入 图 像 和 目 





归 模 型 。 











x = tf.placeho 





hon 外 部 完成 其 主 
立 运 行 某 个 耗 时 操作 的 方式 ， 而 是 先 让 我 们 描述 一 个 交互 操作 图 





用 来 进行 数据 迁移 。 








的 是 用 来 构建 这 个 可 以 在 外 部 运行 的 计算 医 


在 这 一 节 中 我 们 将 建立 一 个 拥有 一 个 线性 层 的 sof tmax 





标 输出 类 别 创 建 节 点 ， 来 开始 构建 计算 图 。 


Ei 























作 ， 但 是 进行 了 改 ; 















































der( float", shape-[None, 784]) 


y - tf.placeholder( float/, shape-[None, 10]) 

















这 里 的 x 和 y 











符 输入 具体 的 值 。 


输入 图 片 x 是 - 
ERE. 


出 类 别 值 y_ 也 是 





None 

















不 是 特定 的 值 ， 相 反 ， 他 们 都 只 是 一 











-个 2 维 的 浮 点 数 张 量 。 








这 





lr 








已 ， 分 配给 它 的 shape 为 











表示 其 

















一 个 2 维 张 量 ， 其 中 每 一 行为 一 个 10 维 的 one-hot 向 量 





直 大 小 不 定 ， 在 这 里 作为 第 一 个 给 





























EZE 


























进 以 避免 这 种 开销 。 其 jj 
, 然后 完 A 





行 高 效 的 数值 计算 ， 我 们 通常 会 使 用 像 NumPy 一 类 的 库 ， 将 一 些 诸如 和 矩阵 乘法 的 耗 时 操作 在 Pyth 
on 环境 的 外 部 来 计算 ， 这 些 计算 通常 会 通过 其 它 语言 





并 用 更 为 高 效 的 代码 来 实现 。 


F 销 。 如 果 你 想 在 GPU 或 者 分 布 式 环 境 中 计算 时 ， 这 一 




















没有 采用 在 Python 外 部 独 
将 其 运行 在 Python 外 部 。 这 与 Theano 














， 以 及 安排 计算 图 


个 占 位 符 ， 可 以 在 TensorFlow 运 行 某 一 计算 时 根据 该 


[None, 784] , 
， 用 以 指 代 batch 的 大 小 ， 意 即 x 的 数量 不 定 。 输 














的 哪 一 部 分 应 该 被 运行 。 详 情 





回归 模型 。 在 下 一 节 ， 我 们 会 将 其 扩展 为 一 个 拥有 多 层 卷 积 


占 位 

















其 中 784 是 一 张 展 平 的 MNIST 图 
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Tit 


于 代表 对 应 某 一 MNIST 图 





片 的 类 别 。 





虽然 placeholder 的 shape 参数 是 可 选 的 ， 但 有 了 它 ，TensorFlow 能 够 自动 捕捉 因数 据 维度 不 一 致 导 致 的 错误 。 








变量 








我 们 现在 为 模型 定义 权重 W Pm b 。 可 以 将 它们 当 作 额外 的 输入 量 ， 但 是 TensorFlow 有 一 个 更 好 的 处 理 方 
式 : 变量 。 一 个 变量 代表 着 TensorFlow 计 算 图 中 的 一 个 值 ， 能 够 在 计算 过 程 中 使 用 ， 甚 至 进行 修改 。 在 机 器 学 
习 的 应 用 过 程 中 ， 模 型 参数 一 般 用 Variable 来 表示 。 










































































tf. Variable(tf. zeros ([784, 10])) 
tf. Variable(tf. zeros ([10])) 


oO x 


miii 











我 们 在 调用 tf. Variable 的 时 候 传 入 初始 值 。 在 这 个 例子 里 ， 我 们 把 W 和 b 都 初始 化 为 零 向 量 。W 是 一 个 784x10 
的 矩阵 (因为 我 们 有 784 个 特征 和 10 个 输出 值 )。 b 是 一 个 10 维 的 向 量 〈 因 为 我 们 有 10 个 分 类 ) 。 















































Before Variable s can be used within a session, they must be initialized using that session. This s 
tep takes the initial values (in this case tensors full of zeros) that have already been specified, 


and assigns them to each Variable. This can be done for all Variables at once. 











Hi 




















变量 需要 通过 seesion 初 始 化 后 ， 才 能 在 session 中 使 用 。 这 一 初始 化 步骤 为 ， 为 初始 值 指定 具体 值 〈 本 例 当 中 是 
全 为 零 ) ， 并 将 其 分 配给 每 个 变量 , 可 以 一 次 性 为 所 有 变量 完成 此 操作 。 


















































sess. run(tf. initialize all variables()) 


类 别 预测 与 损失 函数 

















现在 我 们 可 以 实现 我 们 的 回归 模型 了 。 这 只 需要 一 行 ! 我 们 把 向 量化 后 的 图 片 x 和 权重 矩阵 W 相 乘 ， 加 上 14 
b ， 然 后 计算 每 个 分 类 的 softmax 概 率 值 。 


























zr 
T 




















y = tf. nn. softmax (tf. matmul(x,W) + b) 








n] EAE E22 P 2 VILE FR E Fc] MERE B D ER, DTI o P ERU EL DRERIDRIE PRI IES o 











cross entropy - -tf.reduce sum(y *tf. log(y)) 


























注意 ， tf. reduce sum jÜminibatch/i [ff] Ask E Hr frg az SCR [SCR EE T « 3 ATTE RE AR SCR E ERE" mi nibatch 








| 训练 模型 























我 们 已 经 定义 好 模型 和 训练 用 的 损失 函数 ， 那 么 用 TensorFlow 进 行 训练 就 很 简单 了 。 因 为 TensorFlow 知 道 整 个 计 
算 图 ， 它 可 以 使 用 自动 微分 法 找到 对 于 各 个 变量 的 损失 的 梯度 值 。TensorFlow 有 大 量 内 置 的 优化 算法 这 个 例子 
中 ， 我 们 用 最 速 下 降 法 让 交叉 烂 下 降 ， 步 长 为 0. 01. 
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train step = tf. train. GradientDescentOptimizer(0.01).minimize(cross entropy) 














这 一 行 代码 实际 上 是 用 来 往 计算 图 上 添加 一 个 新 操作 ， 其 中 包括 计算 梯度 ， 计 算 每 个 参数 的 步 长 变化 ， 并 且 计 算 
出 新 的 参数 值 。 



























































返回 的 train step 操作 对 象 ， 在 运行 时 会 使 用 梯度 下 降 来 更 新 参数 。 因 此 ， 整 个 模型 的 训练 可 以 通过 反复 地 运行 
train step 来 完成 。 
for i in range (1000) : 


batch = mnist. train. next_batch (50) 
train step. cun teed dict ix: batch[0], y : batch[1])) 











每 一 步 迭 代 ， 我 们 都 会 加 载 50 个 训练 样本 ， 然 后 执行 一 次 train step ， 并 通过 feed dict 将 x 和 y 张 量 占 位 
符 用 训练 训练 数据 替代 。 
































注意 ， 在 计算 图 中 ， 你 可 以 用 feed dict 来 奉 代 任何 张 量 








放 不 仅 限 于 符 换 占 位 符 。 






































评估 模型 


那么 我 们 的 模型 性 能 如 何 呢 ? 

















首先 让 我 们 找 出 那些 预测 正确 的 标签 。 tf. argmax 是 一 个 非常 有 用 的 函数 ， 它 能 给 出 某 个 tensor 对 象 在 某 一 维 上 
的 其 数据 最 大 值 所 在 的 索引 值 。 由 于 标签 向 量 是 由 0, 1 组 成 ， 因 此 最 大 值 1 所 在 的 索引 位 置 就 是 类 别 标签 ， 比 如 t 
f. argmax (y, 1) 返回 的 是 模型 对 于 任 一 输入 x 预测 到 的 标签 值 ， 而 ”tf. argmax(y_, D 代表 正确 的 标签 ， 我 们 可 以 
用 tf.equal 来 检测 我 们 的 预测 是 否 真 实 标签 匹配 (索引 位 置 一 样 表示 匹配 ) 。 



























































































































































correct prediction = tf.equal(tf.argmax(y,l), tf.argmax(y , 1)) 























这 里 返回 一 个 布尔 数组 。 为 了 计算 我 们 分 类 的 准确 率 ， 我 们 将 布尔 值 转换 为 浮 点 数 来 代表 对 、 错 ， 然 后 取 平 均 
fü. fü:  [True, False, True, True] 变 为 [1,0,1,1] ， 计 算出 平均 值 为 0.75 。 














accuracy = tf.reduce mean(tf.cast(correct prediction, “float”)) 











最 后 ， 我 们 可 以 计算 出 在 测试 数据 上 的 准确 率 ， 大 概 是 91%。 




















print accuracy. eval (feed dict-(x: mnist. test. images, y_: mnist. test. labels]) 


构建 一 个 多 层 卷 积 网 络 


















































在 MNIST 上 只 有 91% 正 确 率 ， 实 在 太 精 糕 。 在 这 个 小 节 里 ， 我 们 用 一 个 稍微 复杂 的 模型 ， 卷 积 神 经 网 络 来 改善 效 
果 。 这 会 达到 大 概 99. 2% 的 准确 率 。 虽 然 不 是 最 高 ， 但 是 还 是 比较 让 人 满意 。 
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权重 初始 化 
































为 了 创建 这 个 模型 ， 我 们 需要 创建 大 量 的 权重 和 偏 置 项 。 这 个 模型 中 的 权重 在 初始 化 时 应 该 加 入 少量 的 噪声 来 # 
破 对 称 性 以 及 避免 0 梯度 。 由 于 我 们 使 用 的 是 ReLUY# 
项 ， 以 避免 神经 元 节点 输出 恒 为 0 
义 两 个 函数 用 于 初始 化 。 
























































经 元 ， 因 此 比较 好 的 做 法 是 用 一 个 较 小 的 正 数 来 初始 化 偏 置 












































的 问题 (dead neurons) 。 为 了 不 在 建立 模型 的 时 候 反复 做 初始 化 操作 ， 我 们 定 











def weight variable (shape): 
initial - tf. truncated normal(shape, stddev-0. 1) 
return tf. Variable(initial) 


def bias variable (shape): 


initial = tf.constant(0.1, shape-shape) 
return tf. Variable (initial) 


卷 积 和 池 化 




















TensorFlow 在 卷 积 和 池 化 上 有 很 强 的 灵活 性 。 我 们 怎么 处 理 边界 ? 步 长 应 该 设 多 大 ? 在 这 个 实例 里 ， 我 们 会 一 直 




















使 用 vanil1a 版 本 。 我 们 的 卷 积 使 用 1 步 长 (stride size) ，0 边 距 (padding size) 的 模板 ， 保 证 输出 和 输入 是 





























同一 个 大 小 。 我 们 的 池 化 用 简单 传统 的 2x2 大 小 的 模板 做 max pooling。 为 了 代码 更 简洁 ， 我 们 把 这 部 分 抽象 成 一 
个 函数 。 





def conv2d(x, W): 
return tf.nn.conv2d(x, W, strides-[1l, 1, 1, 1], padding-' SAME') 


def max pool 2x2(x): 
return tf.nn.max pool(x, ksize-[1l, 2, 2, 1] 
strides-[1, 2, 2, 1], padding- SAME') 


第 一 层 卷 积 


























现在 我 们 可 以 开始 实现 第 一 层 了 。 它 由 一 个 卷 积 接 一 个 max pooling 完 成 。 卷 积 在 每 个 5x5 的 patc 











h 中 算出 32 个 特 
征 。 卷 积 的 权重 张 量 形状 是 [5，5，1，32] ， 前 两 个 维度 是 patch 的 大 小 ， 接 着 是 输入 的 通道 数目 ， 最 后 是 输出 的 
通道 数目 。 而 对 于 每 一 个 输出 通道 都 有 一 个 对 应 的 偏 置 量 。 






























































W convl 
b convi 


weight variable([5, 5, 1, 32]) 
bias variable([32]) 


TII 




















为 了 用 这 一 层 ， 我 们 把 x 变 成 一 个 4d 向 量 ， 其 第 2、 第 3 维 对 应 图 片 的 宽 、 高 ， 最 后 一 维 代表 图 片 的 颜色 通道 数 ( 因 
为 是 灰 度 图 所 以 这 里 的 通道 数 为 1， 如 果 是 rgb 彩色 图 ， 则 为 3) 。 










































































x image — tf.reshape(x, [-1,28, 28, 11) 
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We then 


y max pool. 我 们 把 x image AUCI 


ge 


h convi 
h pooll 


convolve x image with the weight tensor, add the bias, apply the ReLU function, and finall 


i 癌 量 进行 卷 积 ， 加 上 偏 置 项 ， 然 后 应 用 ReLU 激 活 函 数 ， 最 后 进行 hax poolin 


























Ir 
































- tf.nn.relu(conv2d(x image, W convl) * b convl) 
max pool 2x2(h convl) 


! 


第 二 层 卷 积 





为 了 构建 一 个 更 深 的 网 络 ， 我 们 会 把 几 个 类 似 的 层 堆 县 起 来 。 第 二 层 中 ， 每 个 5x5 的 patch 会 得 到 64 个 特征 。 














W conv2 = weight variable([5, 5, 32, 64]) 

b conv2 = bias variable([64]) 

h conv2 = tf.nn.relu(conv2d(h pooll, W conv2) + b conv2) 
h pool2 - max pool 2x2(h conv2) 

密集 连接 层 

















现在 ， 图 片 尺寸 减 小 到 7x7， 我 们 加 入 一 个 有 1024 个 神经 元 的 全 连接 层 ， 用 于 处 理 整 个 图 片 。 我 们 把 池 化 层 输 出 的 


张 量 reshape 成 一 些 向 量 ， 乘 上 权重 和 矩阵， 加 上 1 


W fcl 
DERON 


h pool2 
h fcl = 





Dropout 






































:， 然 后 对 其 使 用 ReLU。 


zr 
T 




















weight variable([7 * 7 * 64, 1024]) 
bias variable([1024]) 


| flat - tf.reshape(h pool2, [-1, "*7X*64]) 
tf.nn. relu(tf.matmul(h pool2 flat, W fcl) * b reil) 





为 了 减少 过 拟 合 ， 我 们 在 输出 层 之 前 加 入 dropout。 我 们 用 一 个 placeholder 来 代表 一 个 神经 元 的 输出 在 dropout 


n 


























Ph 保持 不 变 的 概率 。 这 样 我 们 可 以 在 训练 过 程 中 启用 dropout， 在 测试 过 程 中 关闭 dropout。 TensorFlow 的 tf.n 


























n. dropout 操作 除了 可 以 屏蔽 神经 元 的 输出 外 ， 还 会 自动 处 理 神经 元 输出 值 的 scale。 所 以 用 dropout 的 时 候 可 以 不 
用 考虑 scale。 


keep pr 
ne ol 


输出 层 


最 后 ， 我 们 添加 一 个 softmax 层 ， 就 像 前 面 的 单 层 softmax regression 一 样 。 


W fc2 
b fc2 


I 


y conv- 





ob - tf. placeholder ("float") 
rop - tf.nn.dropout(h fcl, keep prob) 











让 








weight variable([1024, 10]) 
bias variable([10]) 


tf. nn. softmax (tf. matmul(h fcl drop, W fc2) + b fc2) 
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训练 和 评估 模型 


这 个 模型 的 效果 如 何 呢 ? 





























为 了 进行 训练 和 评估 ， 我 们 使 用 与 之 前 简单 的 单 层 SoftMax 神 经 网 络 模型 几乎 相同 的 一 套 代 码 ， 只 是 我 们 会 用 更 加 





























i. 





复杂 的 ADAM 优 化 器 来 做 梯度 最 速 下 降 ， 在 feed dict 中 加 入 额外 的 参数 keep prob 来 控制 dropout 比 例 。 然 后 每 10 





0 次 达 代 输出 一 次 日 志 。 























cross entropy = -tf.reduce sum(y *tf. log(y conv)) 
train step = tf. train. AdamO0ptimizer(1le-4).minimize(cross entropy) 
correct prediction = tf. equal (tf. argmax(y_conv, 1), tf.argmax(y ,1)) 
accuracy = tf.reduce mean(tf.cast(correct prediction, "float^)) 
sess.run(tf. initialize all variables()) 
for i in range (20000) : 
batch = mnist. train. next_batch (50) 
if i%100 == 0: 
train accuracy = accuracy. eval (feed dict={ 
x:batch[0], y : batch[1], keep prob: 1.0]) 
print "step *d, training accuracy %g”%(i, train accuracy) 
train step.run(feed dict-íx: batch[0], y : batch[l], keep prob: 0.5]) 


print "test accuracy %g”%accuracy. eval (feed dict-í 
x: mnist.test. images, y : mnist.test.labels, keep prob: 1.0]) 








m 











以 上 代码 ， 在 最 终 测 试 集 上 的 准确 率 大 概 是 99. 2%。 




















原文 地 址 : Deep MNIST for Experts 翻译 : chenweican 校对 : HongyangWang 
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目前 为 上 上， 我 们 已 经 学 会 了 用 TensorFlow 快 捷 地 搭建 、 训 练 和 评估 一 个 复杂 一 


点 儿 的 深度 学 习 模型 。 


TensorFlow 运 作 方 式 入 门 















































经 网 络 (feed-forward neural network) 。 









































的 ， 是 向 大 家 展示 如 何 利用 TensorFlow 使 用 (经典 )MNIST 数 据 集训 练 并 评估 一 个 用 于 识别 手写 数字 


我 们 的 目标 读者 ， 是 有 兴趣 使 用 TensorFlow 的 资深 机 器 











不 是 为 了 教 大 家 机 器 学 习 领 域 的 基础 知识 。 














代码 : tensorflow/g3doc/tutorials/mnist/ 
本 篇 教程 的 目 

的 简易 前 馈 

学 习 人 士 。 

因此 ， 撰 写 该 系列 教程 3 

在 学 习 本 教程 之 前 ， 请 看 





| 教程 使 用 的 文件 


本 教程 引用 如 下 文件 : 





WE 





T 


mnist.py 
fully connected f 利用 下 载 的 数据 集训 练 构建 好 的 MNIST 模 型 的 主要 代码 ， 以 数据 反馈 字 


eed. py 














直接 运行 fully connected feed. py 文件 ， 就 可 以 


保 您 已 按照 安装 TensorFlow 教 程 9 





目的 


构建 一 个 完全 连接 (fully con 

















ionary) 的 形式 作为 输入 模型 。 





python fully connected feed.py 


准备 数据 


MNIST 是 机 器 学 习 领 域 的 一 个 经 典 问 题 ， 指 的 是 让 机 器 查看 - 








像 代 表 0-9 中 的 哪 - 


-个 数字 。 








nected) 的 MINST 模 型 所 需 的 代码 。 








开始 训练 ; 





-系列 大 小 为 28x28 像 素 的 手写 数字 灰 度 图 





56H / | 


图 片 2.10 MNIST- E 





E 


数字 
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H (feed dict 


像 ， 并 判断 

















更 多 相关 信息 ， 请 查阅 Yann LeCun 网 站 中 关于 MNIST 的 介绍 或 者 Chris 01ah 对 MNIST 的 可 视 化 探索 。 





下 载 





在 run training) 方法 的 一 开始 ， input_data. read_data_sets() 函数 会 确保 你 的 本 地 训练 文件 夹 中 ， 已 经 下 载 了 
































正确 的 数据 ， 然 后 将 这 些 数据 解压 并 返回 一 个 含有 Dataset 实例 的 字 























data sets = input data.read data sets (FLAGS. train dir, FLAGS. fake data) 








注意 : fake data 标记 是 用 于 单元 测试 的 ， 读 者 可 以 不 必 理 会 。 



























































数据 集 目的 

data sets. train 55000 个 图 像 和 标签 Clabels) ， 作 为 主要 训练 集 。 

data sets. validation 5000 个 图 像 和 标签 ， 用 于 迭代 验证 训练 准确 度 。 

data sets. test 10000 个 图 像 和 标签 ， 用 于 最 终 测 试 训练 准确 度 Ctrained accuracy) 。 























了 解 更 多 数据 有 关 信息 ， 请 查阅 此 系列 教程 的 数据 下 载 部 分 . 


输入 与 占 位 符 (Inputs and Placeholders) 











placeholder inputs() 函数 将 生成 两 个 tf.placeholder 操作 ， 定 义 传 入 图 表 中 的 shape 参 数 ，shape 参 数 中 包括 b 
atch size 值 ， 后 续 还 会 将 实际 的 训练 用 例 传 入 图 表 。 




















images placeholder = tf. placeholder (tf. float32, shape-(batch size, 
IMAGE PIXELS)) 


labels placeholder - tf.placeholder(tf. int32, shape-(batch size)) 























在 训练 循环 〈training loop) 的 后 续 步 又 中 ， 传 入 的 整个 图 像 和 标签 数据 集会 被 切片 ， 以 符合 每 一 个 操作 二 设置 



































的 batch size 值 ， 占 位 符 操作 将 会 填补 以 符合 这 个 batch size 值 。 然 后 使 用 feed dict 参数 ， 将 数据 传 入 ses 











s.run( 函数 。 


构建 图 表 (Build the Graph) 








在 为 数据 创建 占 位 符 之 后 ， 就 可 以 运行 mist. py 文件 ， 经 过 三 阶段 的 模式 函数 操作 : inference) , los 
s) ， 和 training) 。 图 表 就 构建 完成 了 。 





























l. inference 一 一 尽 可 能 地 构建 好 图 表 ， 满 足 促使 神经 网 络 向 前 反馈 并 做 出 预测 的 要 求 。 
2. loss) 一 一 往 ijnference 图 表 中 添加 生成 损失 (loss) 所 需要 的 操作 Cops) 。 
3. training) 一 一 往 损 失 图 表 中 添加 计算 并 应 用 梯度 (gradients) 所 需 的 操作 。 
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c 
gradients softmax linear - al zt O 


推理 (Inference) 











inference) 函数 会 尽 可 能 地 构建 图 表 ， 做 到 返回 包含 了 预测 结果 Coutput prediction) 的 Tensor。 


























它 接受 图 像 占 位 符 为 输入 ， 在 此 基础 上 借助 ReLu (Rectified Linear Units) 激 活 函数 ， 构 建 一 对 完全 连接 层 Clay 
ers) ， 以 及 一 个 有 着 十 个 节点 Gode) 、 指 明了 输出 logtis 模 型 的 线性 层 。 





























每 一 层 都 创建 于 一 个 唯一 的 tf. name scope 之 下 ， 创 建 于 该 作用 域 之 下 的 所 有 元 素 都 将 带 有 其 前 组 。 


with tf.name scope( hiddenl ) as scope: 




















在 定义 的 作用 域 中 ， 每 一 层 所 使 用 的 权重 和 偏差 都 在 tf. Variable 实例 中 生成 ， 并 且 包含 了 各 自 期 望 的 shape。 


weights = tf. Variable( 
tf. truncated normal ([IMAGE PIXELS, hiddenl units], 
stddev-1.0 / math. sqrt (float (IMAGE PIXELS))), 
name-' weights’ ) 
biases = tf. Variable (tf. zeros([hiddenl units]) 
name=’ biases’ ) 























例如 ， 当 这 些 层 是 在 hiddenl 作用 域 下 生成 时 ， 赋 予 权 重 变量 的 独特 名 称 将 会 是 ” hiddenl/weights“ 

















每 个 变量 在 构建 时 ， 都 会 获得 初始 化 操作 Gnitializer ops) 。 








N 








在 这 种 最 常见 的 情况 下 ， 通 过 tf. truncated normal 函数 初始 化 权重 变量 ， 给 赋予 的 shape 则 是 一 个 二 维 tenso 

r， 其 中 第 一 个 维度 代表 该 层 中 权重 变量 所 连接 (connect from) 的 单元 数量 ， 第 二 个 维度 代表 该 层 中 权重 变量 所 
连接 到 的 (connect to) 单元 数量 。 对 于 名 叫 hiddenl 的 第 一 层 ， 相 应 的 维度 则 是 [IMAGE PIXELS, hiddenl unit 
] ， 因 为 权重 变量 将 图 像 输入 连接 到 了 hiddenl 层 。 tf. truncated normal 初始 函数 将 根据 所 得 到 的 均值 和 标准 
差 ， 生 成 一 个 随机 分 布 。 
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I 



































4 





然后 ， 通 过 tf. zeros 函数 初始 化 偏差 变量 (biases) ， 确 保 所 有 偏差 的 起 始 值 都 是 0， 而 它们 的 shape 则 是 其 在 该 
层 中 所 接 到 的 (connect to) 单元 数量 。 




















页 





表 的 三 个 主要 操作 ， 分 别 是 两 个 tf. nn. relu 操作 ， 它 们 中 嵌入 了 隐藏 层 所 需 的 tf.matmul ; 以 及 logits 模 型 所 
需 的 另外 一 个 tf.matmul 。 三 者 依次 生成 ， 各 自 的 tf. Variable 实例 则 与 输入 占 位 符 或 下 一 层 的 输出 tensor 所 连 
接 。 


























hiddenl = tf.nn.relu(tf.matmul(images, weights) + biases) 


hidden2 = tf.nn.relu(tf.matmul(hiddenl, weights) + biases) 


logits = tf.matmul(hidden2, weights) + biases 




















最 后 ， 程 序 会 返回 包含 了 输出 结果 的 logits Tensor. 





损失 (Loss) 





loss) 函数 通过 添加 捷 需 的 损失 操作 ， 进 一 步 构建 图 表 。 





首先 ， labels_placeholer 中 的 值 ， 将 被 编码 为 一 个 含有 1-hot values 的 Tensor 。 例 如 ， 如 果 类 标识 符 
为 “3”， 那 么 该 值 就 会 被 转换 为 : 
lO. €. a oann 





batch size = tf. size(labels) 
labels = tf. expand dims (labels, 1) 
indices = tf.expand dims(tf.range(0, batch size, 1), 1) 
concated - tf.concat(l, [indices, labels]) 
onehot labels = tf.sparse to dense( 
concated, tf.pack([batch size, NUM CLASSES]), 1.0, 0.0) 














之 后 ， 又 添加 一 个 tf. nn. softmax cross entropy with logits 操作 ， 用 来 比较 inference 0. 函数 与 1-hot 标 签 所 输 








出 的 logits Tensor。 


cross entropy = tf.nn.softmax cross entropy with logits(logits 
onehot labels 
name= xentropy' ) 














M 


然后 ， 使 用 tf.reduce mean 函数 ， 计 算 batch 维 度 〈 第 一 维度 ) FAXR (cross entropy) 的 平均 值 ， 将 将 该 值 


作为 总 损失 。 























loss = tf.reduce mean(cross entropy, name-' xentropy mean ) 




















最 后 ， 程 序 会 返回 包含 了 损失 值 的 Tensor。 


注意 : 交叉 炳 是 信息 理论 中 的 概念 ， 可 以 让 我 们 描述 如 果 基 于 已 有 事实 ， 相 信和 神经 网 络 所 做 的 推测 最 坏 会 导致 什 
么 结果 。 更 多 详情 ， 请 查阅 博文 《可 视 化 信息 理论 》 (http://colah. github. io/posts/2015-09-Visual-Informa 


tion/) 
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训练 


training) 函数 添加 了 通过 梯度 下 降 (gradient descent) 将 损失 最 小 化 所 需 的 操作 。 











首先 ， 该 函数 从 lossO 函数 中 获取 损失 Tensor， 将 其 交 给 tf. scalar_summary ， 后 者 在 与 SummaryWriter ( 见 下 
X) 配合 使 用 时 ， 可 以 向 事件 文件 Cevents file) 中 生成 汇总 值 (summary values) 。 在 本 篇 教程 中 ， 每 次 写 入 
汇总 值 时 ， 它 都 会 释放 损失 Tensor 的 当前 值 (snapshot value) 。 



































tf.scalar summary (loss. op. name, loss) 





Es 


接 下 来 ， 我 们 实例 化 一 个 tf. train. GradientDescentOptimizer ， 负 责 按照 所 要 求 的 学 习 效率 (learning rate) JW 
用 梯度 下 降 法 (gradients) 。 





optimizer = tf. train. GradientDescentOptimizer(FLAGS. learning rate) 

















之 后 ， 我 们 生成 一 个 变量 用 于 保存 全 局 训练 步骤 (global training step) 的 数值 ， 并 使 用 minimize) 函数 更 新 
系统 中 的 三 角 权 重 (triangle weights) 、 增 加 全 局 步骤 的 操作 。 根 据 惯例 ， 这 个 操作 被 称 为 train op ， 是 Ten 
sorFlowZ (session) 诱发 一 个 完整 训练 步骤 所 必须 运行 的 操作 〈 见 下 文 ) 。 


























global step = tf.Variable(0, name-'global step', trainable-False) 
train op - optimizer.minimize(loss, global step-global step) 

















最 后 ， 程 序 返回 包含 了 训练 操作 Ctraining op) 输出 结果 的 Tensor。 





训练 模型 



































一 旦 图 表 构 建 完毕 ， 就 通过 fully connected feed. py 文件 中 的 用 户 代 码 进 行 循环 地 帮 代 式 训练 和 评估 。 
图 表 
在 run training) 这 个 函数 的 一 开始 ， 是 一 个 Python 语言 中 的 with 命令 ， 这 个 命令 表明 所 有 已 经 构建 的 操作 都 














要 与 默认 的 tf. Graph 全 局 实例 关联 起 来 。 
with tf.Graph(.as default O: 


tf. Graph 实例 是 一 系列 可 以 作为 整体 执行 的 操作 。TensorFlow 的 大 部 分 场景 上 只 需要 依赖 默认 图 表 一 个 实例 即 可 。 











利用 多 个 图 表 的 更 加 复杂 的 使 用 场景 也 是 可 能 的 ， 但 是 超出 了 本 教程 的 范围 。 
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会 话 





完成 全 部 的 构建 准备 、 生 成 全 部 所 需 的 操作 之 后 ， 我 们 就 可 以 创建 一 个 tf. Session ， 用 于 运行 图 





sess = ii Sessioni) 




















另外 ， 也 可 以 利用 with 代码 块 生成 Session ， 限 制作 用 域 : 








with tf.Session() as sess: 


Session 函数 中 没有 传 入 参数 ， 表 明 该 代码 将 会 依附 于 《如 果 还 没有 创建 会 话 ， 则 会 创建 新 的 会 话 ) 默认 的 本 地 


会 话 。 


生成 会 话 之 后 ， 所 有 tf. Variable 实例 都 会 立即 通过 调 


























cm 


init - tf. initialize all variables 


sess. run (init) 


sess. run. 方法 将 会 运行 图 























表 中 与 作为 参数 传 入 的 操作 相对 应 的 完整 子 集 。 在 初次 调 



































Jif, 





























变量 初始 化 程序 tf. group 。 图 表 的 其 他 部 分 不 会 在 这 里 ， 而 是 在 下 面 的 训练 循环 运行 。 











训练 循环 




















完成 会 话 中 变量 的 初始 化 之 后 ， 就 可 以 开始 训练 了 。 








训练 的 每 一 步 都 是 通过 用 户 代码 控 肯 

















c 


for step in xrange(max steps): 


sess.run(train op 








而 能 实现 有 效 训练 的 最 简 


1 循环 就 是 : 









































init 


各 自 初始 化 操作 中 的 sess. run O. 函数 进行 初始 化 。 


操作 只 包含 了 


但 是 ， 本 教程 中 的 例子 要 更 为 复杂 一 点 ， 原 因 是 我 们 必须 把 输入 的 数据 根据 每 一 步 的 情况 进行 切 分 ， 以 匹配 之 前 








生成 的 占 位 符 。 





向 图 表 提 供 反馈 





执行 每 一 步 时 ， 我 们 的 代码 会 生成 一 个 反馈 字典 〈feed dictionary) ， 其 中 包含 对 应 步骤 
子 ， 这 些 例 子 的 哈 希 键 就 是 其 所 代表 的 占 位 符 操 作 。 


























训练 所 要 使 用 的 例 


fill feed dict 函数 会 查询 给 定 的 DataSet ， 索 要 下 一 批 次 batch size 的 图 像 和 标签 ， 与 占 位 符 相 匹配 的 Tenso 


r 则 会 包含 下 一 批 次 的 图 








像 和 标签 。 














images feed, labels feed = data set.next batch (FLAGS. batch size) 











然后 ， 以 占 位 符 为 哈 希 键 ， 创 建 一 个 Python 字典 对 象 ， 键 值 则 是 其 代表 的 反馈 Tensor。 
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feed dict - ( 


images placeholder: images feed 
labels placeholder: labels feed 














这 个 字典 随后 作为 feed dict 参数 ， 传 入 sess.runO 函数 中 ， 为 这 一 步 的 训练 提供 输入 样 例 。 














for 








在 运行 sess.run 函数 时 ， 要 在 代码 中 明确 其 需要 获取 的 两 个 值 : [train op, loss] 。 

















step in xrange (FLAGS. max steps): 
feed dict - fill feed dict data sets. train, 
images placeholder, 
labels placeholder) 
., loss value - sess.run([train op, loss] 
feed dict-feed dict) 








因为 要 获取 这 两 个 值 ， sess. runO. 会 返回 一 个 有 两 个 元 素 的 元 组 。 其 中 每 一 个 Tensor 对 象 ， 对 应 了 返回 的 元 组 
中 的 numpy 数 组 ， 而 这 些 数 组 中 包含 了 当前 这 步 训练 中 对 应 Tensor 的 值 。 由 于 train op 并 不 会 产生 输出 ， 其 在 i 
回 的 元 祖 中 的 对 应 元 素 就 是 None ， 所 以 会 被 抛弃 。 但 是 ， 如 果 模 型 在 训练 中 出 现 偏差 ， loss Tensor 的 值 可 能 

















[zn 
























































会 变 成 NaN， 所 以 我 们 要 获取 它 的 值 ， 并 记录 下 来 。 


假设 训练 一 切 正常 ， 没 有 出 现 NaN， 训 练 循 环 会 每 隔 100 个 训练 步骤 ， 就 打印 一 行 简单 的 状态 文本 ， 告 知 用 户 当 前 























c 





的 训练 状态 。 


if step % 100 == 0: 
print 'Step Xd: loss = %. 2f (%. 3f sec)' * (step, loss value, duration) 
状态 可 视 化 


为 了 释放 TensorBoard 所 使 用 的 事件 文件 Cevents file) ， 所 有 的 即时 数据 CA 


阶段 合并 至 一 个 操作 Cop) 中 。 

















只 有 一 个 ) 都 要 在 图 表 构建 














E 

















ri 

















m 


summary op = tf. merge all summaries () 
































在 创建 好 会 话 (session) 之 后 ， 可 以 实例 化 一 个 tf. train. SummaryWriter ， 用 于 写 入 包含 了 图 表 本 身 和 即时 数据 
具体 值 的 事件 文件 。 








summary writer = tf. train. SummaryWri ter (FLAGS. train dir 


graph def-sess. graph def) 














最 后 ， 每 次 运行 summary_op 时 ， 都 会 往事 件 文件 中 写 入 最 新 的 即时 数据 ， 函 数 的 输出 会 传 入 事件 文件 读 写 器 (wr 


iter) 的 add summary() 函数 。。 


sun 
sun 








mary str = sess.run(summary op, feed dict-feed dict) 
mary writer. add summary (summary str, step) 








事件 文件 写 入 完毕 之 后 ， 可 以 就 训练 文件 夹 打开 一 个 TensorBoard， 碍 看 即时 数据 的 情况 。 
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TensorBoard EVENTS IMAGES GRAPH HISTOGRAMS 





input new regex € 1 xentropy (1) 








Split On Underscores: ^W 


xentropy_mean 

X Type: 2.20 十 一 一 : 
1.80 | 
STEP RELATIVE WALL | 
1.40 + 
Selected Runs: 1.00 | 
data 0.600 | 
0.200 : 

0.000 400.0 800.0 1.200k 1.600k 








图 片 2.11 MNIST TensorBoard 


注意 : 了 解 更 多 如 何 构建 并 运行 TensorBoard 的 信息 ， 请 查看 相关 教程 Tensorboard: 训练 过 程 可 祝 化 。 











保存 检查 点 (checkpoint) 
为 了 得 到 可 以 用 来 后 续 恢 复 模 型 以 进一步 训练 或 评估 的 检查 点 文件 (checkpoint file)〉， 我 们 实例 化 一 个 tf. tra 














in. Saver 。 


saver = ti troin Saver () 





在 训练 循环 中 ， 将 定期 调用 saver. save 0 方法 ， 向 训练 文件 夹 中 写 入 包含 了 当前 所 有 可 训练 变量 值得 检查 点 文 
件 。 





saver. save (sess, FLAGS. train dir, global step-step) 


这 样 ， 我 们 以 后 就 可 以 使 用 saver. restore() 方法 ， 重 载 模型 的 参数 ， 继 续 训 练 。 





saver.restore(sess, FLAGS. train dir) 


评 佑 模型 














每 隔 一 千 个 训练 步 又， 我 们 的 代码 会 尝试 使 用 训练 数据 集 与 测试 数据 集 ， 对 模型 进行 评估 。 do eval 函数 会 被 调 
用 三 次 ， 分 别 使 用 训练 数据 集 、 验 证 数据 集合 测试 数据 集 。 





print ' Training Data Eval:' 
do eval (sess, 
eval correct, 
images placeholder, 
labels placeholder, 
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data sets. train) 
print ' Validation Data Eval:' 
do eval(sess, 
eval correct 
images placeholder, 
labels placeholder, 
data sets. validation) 
print ' Test Data Eval:' 
do eval (sess, 
eval correct 
images placeholder, 
labels placeholder, 
data sets. test) 


注意 ， 更 复杂 的 使 用 场景 通常 是 ， 先 隔绝 data sets. test 测试 数据 集 ， 只 有 在 大 量 的 超 参数 优化 调整 (hyperpa 


rameter tuning) 之 后 才 进 行 检查 。 但 是 ， 由 于 MNIST 问 题 比较 简单 ， 我 们 在 这 里 一 次 性 评估 所 有 的 数据 


构建 评估 图 表 (Eval Graph) 





在 打开 默认 图 表 (Graph) 之 前 ， 我 们 应 该 先 调 用 get data(train-False) 函数 ， 抓 取 测 试 数据 集 。 











test all images, test all labels - get data(train-False) 














在 进入 训练 循环 之 前 ， 我 们 应 该 先 调用 mist. py 文件 中 的 evaluation 函数 ， 传 入 的 logits 和 标签 参数 要 与 loss 
函数 的 一 致 。 这 样 做 事 为 了 先 构 建 Eval 操 作 。 

















eval correct = mnist.evaluation(logits, labels placeholder) 

evaluation 函数 会 生成 tf.nn.in top k 操作 ， 如 果 在 K 个 最 有 可 能 的 预测 中 可 以 发 现 真 的 标签 ， 那 么 这 个 操作 
就 会 将 模型 输出 标记 为 正确 。 在 本 文中 ， 我 们 把 K 的 值 设置 为 1， 也 就 是 只 有 在 预测 是 真 的 标签 时 ， 才 判定 它 是 正 
确 的 。 




































































eval correct - tf.nn.in top k(logits, labels, 1) 


评估 图 表 的 输出 (Eval Output) 








之 后 ， 我 们 可 以 创建 一 个 循环 ， 往 其 中 添加 feed dict ， 并 在 调用 sess. run() 函数 时 传 入 eval correct 操 
作 ， 目 的 就 是 用 给 定 的 数据 集 评 估 模 型。 


























for step in xrange(steps per epoch): 
feed dict - fill feed dict(data set, 
images placeholder, 
labels placeholder) 
true count += sess.run(eval correct, feed dict-feed dict) 























true count 变量 会 累加 所 有 in top k 操作 判定 为 正确 的 预测 之 和 。 接 下 来 ， 只 需要 将 正确 测试 的 总 数 ， 除 以 例 
子 总 数 ， 就 可 以 得 出 准确 率 了 。 
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precision = float(true count) / float(num examples) 
print ' Num examples: %d Num correct: *d Precision @ 1: *0.02f' % ( 
num examples, true count, precision) 


原文 : [TensorFlow Mechanics lIO01href-"http://www. tensorflow.org/tutorials/mnist/tf/index.md") fH 


if: bingjin 校对 : LichAmnesia 
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卷 积 神经 网 络 


注意 : 本 教程 适用 于 对 Tensorflow 有 丰富 经 验 的 用 户 ， 并 假定 用 户 有 机 器 学 习 相 关 领 域 的 专业 知识 和 经 验 。 


| 概述 

















对 CIFAR-10 数据 集 的 分 类 是 机 器 学 习 中 一 个 公开 的 基准 测试 问题 ， 其 任务 是 对 一 组 大 小 为 32x32 的 RGB 图 像 进行 分 
类 ， 这 些 图 像 涵 盖 了 10 个 类 别 : 


飞机 ， 汽 车， 鸟 ， 猫 ， 鹿 ， 狗 ， FE, 5, 船 以 及 卡车 。 
































CIFAR-10 Samples 
图 片 2.12 CIFAR-10 Samples 

















想 了 解 更 多 信息 请 参考 CIFAR-10 page, DURAlex Krizhevsky 写 的 技术 报告 


目标 




















本 教程 的 目标 是 建立 一 个 用 于 识别 图 像 的 相对 较 小 的 卷 积 神经 网 络 ， 在 这 一 过 程 中 ， 本 教程 会 : 


















































1. 着 重 于 建立 一 个 规范 的 网 络 组 织 结构 ， 训 练 并 进行 评估 ; 


























2. 为 建立 更 大 规模 更 加 复杂 的 模型 提供 一 个 范例 














选择 CIFAR-10 是 因为 它 的 复杂 程度 足以 用 来 检验 TensorFlow 中 的 大 部 分 功能 ， 并 可 将 其 扩展 为 更 大 的 模型 。 与 此 
同时 由 于 模型 较 小 所 以 训练 速度 很 快 ， 比 较 适 合用 来 测试 新 的 想法 ， 检 验 新 的 技术 。 



































本 教程 的 重点 








CIFAR-10 教程 演示 了 在 TensorFlow 上 构建 更 大 更 复杂 模型 的 几 个 种 重要 内 容 ; 

* 相关 核心 数学 对 象 ， 如 [ 卷 积 href= https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURC 
E/api docs/python/nn. md#conv2d) 、 修 正 线性 激活 、 最 大 池 化 以 及 局 部 响应 归 一 化 ; 

* 训练 过 程 中 一 些 网 络 行为 的 [可 视 化 href=“https://github. com/jikexueyuanwiki/tensorflow-zh/tree/maste 
r/SOURCE/how tos/summaries and tensorboard/index. md”)， 这 些 行为 包括 输入 图 像 、 损 失 情 况 、 网 络 行为 的 分 
布 情况 以 及 梯度 ; 
* 算法 学 习 参 数 的 [移动 平均 值 href=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURC 
E/api docs/python/train. md”) 的 计算 函数 ， 以 及 在 评估 阶段 使 用 这 些 平均 值 提 高 预测 性 能 ; 
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* 实现 了 一 种 机 制 ， 使 得 [学 习 率 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOU 
RCE/api docs/python/train. md”) 随 着 时 间 的 推移 而 递减 ; 

* 为 输入 数据 设计 预存 取 [ 队 列 href=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURC 
E/api_docs/python/io_ops. md”)， 将 人 磁盘 延迟 和 高 开销 的 图 像 预 处 理 操 作 与 模型 分 离开 来 处 理 ; 














我 们 也 提供 了 模型 的 多 GPU 版 本 ， 用 以 表明 : 
* 可 以 配置 模型 后 使 其 在 多 个 GPU 上 并 行 的 训练 
可 以 在 多 个 GPU 之 间 共 享 和 更 新 变量 值 





















































* 
H 




















我 们 希望 本 教程 给 大 家 开 了 个 头 ， 使 得 在 Tensorflow 上 可 以 为 视觉 相关 工作 建立 更 大 型 的 CNN 模 型 











模型 架构 








本 教程 中 的 模型 是 一 个 多 层 架 构 ， 由 卷 积 层 和 非 线性 层 (nonlinearities) 交 替 多 次 排列 后 构成 。 这 些 层 最 终 通 过 
全 连通 层 对 接 到 softmax 分 类 器 上 。 这 一 模型 除了 最 顶部 的 几 层 外 ， 基 本 跟 Alex Krizhevsky 提 出 的 模型 一 致 。 

































































在 一 个 GPU 上 经 过 几 个 小 时 的 训练 后 ， 该 模型 最 高 可 以 达到 86% 的 精度 。 细 节 请 查看 下 面 (页 63) 的 描述 以 及 代 
码 。 模 型 中 包含 了 1, 068, 298 个 学 习 参 数 ， 对 一 副 图 像 进行 分 类 大 概 需 要 19. 5M 个 乘 加 操作 。 























代码 组 织 


本 教程 的 代码 位 于 tensorflow/models/image/cifarl0/ . 





























文件 作用 

cifarlO input. py 读 取 本 地 CIFAR-10 的 二 进 制 文件 格式 的 内 容 。 
eitarilO my 建立 CIFAR-10 的 模型 。 

cifarlO train. py 在 CPU 或 GPU 上 训练 CIFAR-10 的 模型 。 
cifarl0 multi gpu train. py 在 多 GPU 上 训练 CIFAR-10 的 模型 。 

cifarlO eval.py 评估 CIFAR-10 模 型 的 预测 性 能 。 








| CIFAR-10 模型 





CIFAR-10 网 络 模型 部 分 的 代码 位 于 cifar10.py .完整 的 训练 图 中 包含 约 765 个 操作 。 但 是 我 们 发 现 通 过 下 面 的 
模块 来 构造 训练 图 可 以 最 大 限度 的 提高 代码 复 用 率 : 





















































l. 模型 输入 : (页 58) 包括 inputs() 、 distorted inputs. 等 一 些 操作 ， 分 别 用 于 读 取 CIFAR 的 图 像 并 进行 
预 处 理 ， 做 为 后 续 评 估 和 训练 的 输入 ; 
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2. 模型 预测 : (页 59) 包括 inference) 等 一 些 操作 ， 用 于 进行 统计 计算 ， 比 如 在 提供 的 图 像 进行 分 类 ; adds 
operations that perform inference, i.e. classification, on supplied images. 

3. 模型 训练 : (页 60) 包括 loss) and train) 等 一 些 操作 ， 用 于 计算 损失 、 计 算 梯 度 、 进 行 变 量 更 新 以 及 
呈现 最 终结 果 

模型 输入 






































输入 模型 是 通过 inputsO 和 distorted inputs O 函数 建立 起 来 的 ， 这 2 个 函数 会 从 CIFAR-10 二 进 制 文件 中 读 取 
图 片 文件 ， 由 于 每 个 图 片 的 存储 字 节 数 是 固定 的 ， 因 此 可 以 使 用 [ tf. FixedLengthRecordReader href-"https://gi 
thub. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/api docs/python/io ops. md#FixedLengthReco 
rdReader) 函数 。 更 多 的 关于 Reader 类 的 功能 可 以 查看 Reading Data. 















































图 片 文 件 的 处 理 流程 如 下 : 








图 片 会 被 统一 裁剪 到 24x24 像 素 大 小 ， 裁 前 中 央 区 域 用 于 评估 或 [随机 href=“https://github. com/ jikexueyua 
nwiki/tensorflow-zh/blob/master/SOURCE/api docs/python/image. md”) 裁 前 用 于 训练 ; 





























图 片 会 进行 [近似 的 白化 处 理 href=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOU 
RCE/api_docs/python/image. md”) ， 使 得 模型 对 图 片 的 动态 范围 变化 不 敏感 。 






































对 于 训练 ， 我 们 另外 采取 了 一 系列 随机 变换 的 方法 来 人 为 的 增加 数据 集 的 大 小 : 




















对 图 像 进行 [随机 的 左右 翻转 href=“https://github. com/jikexueyuanwiki/tensorflow-zh/blob/master/SOU 








RCE/api docs/python/image. md”) ; 











随机 变换 [图 像 的 亮度 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/ap 





i docs/python/image. md”) ; 








随机 变换 [图 像 的 对 比 度 href=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/ 





api docs/python/image. md”) ; 





可 以 在 LImageshref= https: //github. com/ jikexueyuanwiki /tensorflow-zh/blob/master/SOURCE/api docs/pyt 
hon/ image. md) 页 的 列表 中 查看 所 有 可 用 的 变换 ， 对 于 每 个 原始 图 我 们 还 附带 了 一 个 image summary ， 以 便于 在 Te 


nsorBoard 中 查看 。 这 对 于 检查 输入 图 像 是 否 正 帮 















































上 分 有 用 。 
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Ld - 


























从 磁盘 上 加 载 图 像 并 进行 变换 需要 花费 不 少 的 处 理 时 间 。 为 了 避免 这 些 操作 减 慢 训练 过 程 ， 我 们 在 16 个 独立 的 线 


FE 


















































anwiki/tensorflow-zh/blob/master/SOURCE/api_docs/python/io ops. md”) 中 。 





并 行进 行 这 些 操 作 ， 这 16 个 线程 被 连续 的 安排 在 一 个 TensorFlow[ 队 列 href= “https://github. com/ jikexueyu 
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模型 预测 









































模型 的 预测 流程 由 inference O. 构造 ， 该 函数 会 添加 必要 的 操作 步骤 用 于 计算 预测 值 的 1ogits， 其 对 应 的 模型 组 
织 方式 如 下 所 示 : 














Layer 名 称 描述 


convl 


pooll 


norml 


conv2 


norm2 


pool2 


local3 


local4 


softma 


x linear 


这 里 有 一 个 





rH 




















SEX, [4 href-^" https://github. com/ jàikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/ap 
i docs/python/nn. md&conv2d) 以 及 rectified linear activation. 


[max poolinghref-"https://github. com/ jikexueyuanwiki /tensorflow-zh/blob/master/SOURCE/ 
api docs/python/nn. md”). 





[局 部 响应 归 一 化 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOUR 
CE/api docs/python/nn. md”). 


[ 卷 积 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/api doc 
s/python/nn. md#conv2d) and rectified linear activation. 





[局 部 响应 归 一 化 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOUR 
CE/api_docs/python/nn. md^). 


[max poolinghref-"https://github. com/jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/ 
api docs/python/nn. md”). 





[基于 修正 线性 激活 的 全 连接 层 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blo 
b/master/SOURCE/api docs/python/nn. md"). 


[基于 修正 线性 激活 的 全 连接 层 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blo 
b/master/SOURCE/api docs/python/nn. md”). 


进行 线性 变换 以 输出 logits. 
































c 
D 











TensorBoard 绘 党 





到 形 ， 用 于 描述 模型 建立 过 程 中 经 过 的 步骤 : 
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softmax linear 





ZI 


C» 
norm2 
C» 
nonm1 
c 





练习 : inference 的 输出 是 未 归 一 化 的 logits， 党 试 使 用 tf. softmax() 修改 网 络 架 构 后 返回 归 一 化 的 预测 值 。 

















inputs() 和 inference) ”函数 提供 了 评估 模型 时 所 需 的 所 有 构件 ， 现 在 我 们 把 讲解 的 重点 从 构建 一 个 模型 转 
向 训练 一 个 模型 。 











练习 : inference) 中 的 模型 跟 cuda-convnet 中 描述 的 CIFAR-10 模 型 有 些许 不 同 ， 其 差异 主要 在 于 其 顶层 不 是 














全 连接 层 而 是 局 部 连接 层 ， 可 以 尝试 修改 网 络 架构 来 准确 的 复制 全 连接 模型 。 


模型 训练 











归 href=“https://en. wikipedia. org/wiki/Multi 





Ii 


训练 一 个 可 进行 N 维 分 类 的 网 络 的 常用 方法 是 使 用 [多 项 式 逻 辑 
nomial logistic regression), 又 被 叫做 softmax PIY]. Softmax 回归 在 网 络 的 输出 层 上 附加 了 一 个 softmax non 
linearity， 并 且 计 算 归 一 化 的 预测 值 和 label 的 1-hot encoding 的 交叉 烂 。 在 正则 化 过 程 中 ， 我 们 会 对 所 有 学 习 
变量 应 用 权重 衰减 损失 。 模 型 的 目标 函数 是 求 交 叉 炉 损失 和 所 有 权重 衰减 项 的 和 ， loss( 函数 的 返回 值 就 是 这 个 
值 。 















































在 TensorBoard 中 使 用 [scalar summaryhref-"https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/maste 


r/SOURCE/api docs/python/train. md”) 来 查看 该 值 的 变化 情况 : 
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total loss 
4.50 


0.500 
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T" 0.000 100.0k 200.0k . 300.0k 





图 片 2.13 CIFAR-10 Loss 





我 们 使 用 标准 的 梯度 下 降 算 法 来 训练 模型 Ct n] EAE [Traininghref-" https: //github. com/jikexueyuanwiki/ten 
sorflow-zh/blob/master/SOURCE/api docs/python/train. m^) 中 看 看 其 他 方法 ) ， 其 学 习 率 随 时 间 以 指数 形式 
衰减 。 











learning. rate 
0.100 
0.0800 
0.0600 
0.0400 
0.0200 


0.00 
rs 


ix 0.000 100.0k — 200.0k  300.0k 





KH 2.14 CIFAR-10 Learning Rate Decay 


TA ` 


train) 函数 会 添加 一 些 操作 使 得 目标 函数 最 小 化 ， 这 些 操 作 包括 计算 梯度 、 更 新 学 习 变量 〈 详 细 信 息 请 查看 6 
radientDescentOptimizer ) 。 train) 函数 最 终 会 返回 一 个 用 以 对 一 批 图 像 执 行 所 有 计算 的 操作 步骤 ， 以 便 训 练 
并 更 新 模型 。 















































开始 执行 并 训练 模型 





我 们 已 经 把 模型 建立 好 了 ， 现 在 通过 执行 脚本 cifarlO train. py 来 启动 训练 过 程 。 





python cifarlO0 train.py 

















注意 : 当 第 一 次 在 CIFAR-10 教 程 上 启动 任何 任务 时 ， 会 自动 下 载 CIFAR-10 数 据 集 ， 该 数据 集 大 约 有 160M 大 小 ， 因 
此 第 一 次 运行 时 泡 杯 咖啡 小 栖 一 会 吧 。 
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你 应 该 可 以 看 到 如 下 类 似 的 输出 : 


Filling queue 


2015-11-04 11: 
2015-11-04 11: 
2015-11-04 11: 


2015-11-04 11 
2015-11-04 11 





with 20000 CIFAR images before starting to train. This will take a few minutes. 
45:45. 927302: step 0, loss = 4.68 (2.0 examples/sec; 64.221 sec/batch) 
45:49.133065: step 10, loss = 4.66 (533.8 examples/sec; 0.240 sec/batch) 

45:51. 397710: step 20, loss = 4.64 (597.4 examples/sec; 0.214 sec/batch) 


:45:54.446850: step 30, loss - 4.62 (391.0 examples/sec; 0.327 sec/batch) 
:45:57.152676: step 40, loss - 4.61 (430.2 examples/sec; 0.298 sec/batch) 
2015-11-04 11: ) 


46:00. 437717: step 50, loss = 4.59 (406.4 examples/sec; 0.315 sec/batch 








脚本 会 在 每 10 步 训练 过 程 后 打印 出 总 损失 值 ， 以 及 最 后 一 批 数据 的 处 理 速度 。 下 面 是 儿 点 注释 : 
































。 第 一 批 数据 会 非常 的 慢 〈 大 概要 几 分 钟 时 间 ) ， 因 为 预 处 理 线程 要 把 20, 000 个 待 处 理 的 CIFAR 图 像 填充 到 重 排 


队列 中 ; 

















。 打印 出 来 的 损失 值 是 最 近 一 批 数 据 的 损失 值 的 均值 。 请 记 住 损失 值 是 交叉 箭 和 权重 衰减 项 的 和 ; 











。 上 面 打印 结 











低 ; 

















果 中 关于 一 批 数据 的 处 理 速度 是 在 Tesla K40C 上 统计 出 来 的 ， 如 果 你 运行 在 CPU 上 ， 人 性 能 会 比 此 要 











练习 : 当 实 验 时 ， 第 一 阶段 的 训练 时 间 有 时 会 非常 的 长 ， 长 到 是 以 让 人 生 厌 。 可 以 尝试 减少 初始 化 时 初始 填充 到 


队列 中 图 片 数量 来 改变 这 种 情况 。 在 cifar10. py 中 搜索 NUM EXAMPLES PER EPOCH FOR TRAIN 并 修改 之 。 


cifarlO train. 














py 会 周期 性 的 在 [检查 点 文件 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/tre 








e/master/SOURCE/how tos/variables/index. md#saving-and-restoring) 中 保存 模型 中 的 所 有 参数 ， 但 是 不 会 对 














模型 进行 评估 。 









































cifar10_eval. py 会 使 用 该 检查 点 文件 来 测试 预测 性 能 〈 详 见 下 面 的 描述 : 评估 模型 (页 0) ) 。 

















如 果 按 照 上 面 的 步骤 做 下 来 ， 你 应 该 已 经 开始 训练 一 个 CIFAR-10 模 型 了 。 恭 喜 你 ! 











cifarl0 train. py 输出 的 终端 信息 中 提供 了 关于 模型 如 何 训练 的 一 些 信 息 ， 但 是 我 们 可 能 希望 了 解 更 多 关于 模型 

















训练 时 的 信息 ， 



































比如 : 





* 损失 是 真 的 在 减 小 还 是 看 到 的 只 是 噪声 数据 ? 
ES 
H 

















* 为 模型 提供 的 


* 梯度 、 激 活 、 








图 片 是 否 合适 ? 
f 


权重 的 值 是 否 合理 ? 


* 当前 的 学 习 率 是 多 少 ? 


[TensorBoardhref-"https://github. com/ jikexueyuanwiki/tensorflow-zh/tree/master/SOURCE/how tos/summa 

















ries and tensorboard/index. md) 提供 了 该 功能 ， 可 以 通过 cifarlO train. py 中 的 SummaryWriter 周期 性 的 获取 




















并 显示 这 些 数据 。 























比如 我 们 可 以 在 训练 过 程 中 查看 local3 的 激活 情况 ， 以 及 其 特征 维度 的 稀 玻 情况 : 
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local3/local3/sparsity local3/local3/activations 
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相 比 于 总 损失 ， 在 训练 过 程 中 的 单项 损失 尤其 值得 人 们 的 注意 。 但 是 由 于 训练 中 使 用 的 数据 批量 比较 小 ， 损 失 值 
中 夹杂 了 相当 多 的 噪声 。 在 实践 过 程 中 ， 我 们 也 发 现 相 比 于 原始 值 ， 损 失 值 的 移动 平均 值 显得 更 为 有 意义 。 请 参 


阅 脚本 [ ExponentialMovingAverage href-"https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/S 




















OURCE/api docs/python/train. md”) 了 解 如 何 实现 。 


| 评估 模型 























现在 可 以 在 另 一 部 分 数据 集 上 来 评估 训练 模型 的 性 能 。 脚 本 文件 cifarlO eval.py 对 模型 进行 了 评估 ， 利 用 infe 
rence) 函数 重 构 模 型 ， 并 使 用 了 在 评估 数据 集 所 有 10, 000 张 CIFAR-10 图 片 进 行 测试 。 最 终 计算 出 的 精度 为 
1:N, ，N= 预 测 值 中 置信 度 最 高 的 一 项 与 图 片 真 实 labe1 匹 配 的 频次 。(It calculates the precision at 1: how of 
















































































ten the top prediction matches the true label of the image) 。 




















为 了 监控 模型 在 训练 过 程 中 的 改进 情况 ， 评 佑 用 的 脚本 文件 会 周期 性 的 在 最 新 的 检查 点 文件 上 运行 ， 这 些 检查 点 


文件 是 由 cifarlO train. py 产生 。 






































python cifarl0 eval. py 


注意 : 不 要 在 同一 块 GPU 上 同时 运行 训练 程序 和 评估 程序 ， 因 为 可 能 会 导致 内 存 耗 尽 。 尽 可 能 的 在 其 它 单 独 的 GPU 


上 运行 评估 程序 ， 或 者 在 同一 块 GPU 上 运行 评估 程序 时 先 挂 起 训练 程序 。 





你 可 能 会 看 到 如 下 所 示 输 出 : 


2015-11-06 08:30:44.391206: precision € 1 = 0.860 

















评估 脚本 只 是 周期 性 的 返回 precision@l (The script merely returns the precision @ 1 periodically) 一 -在 
该 例 中 返回 的 准确 率 是 86%。 cifar10_eval.py 同时 也 返回 其 它 一 些 可 以 在 TensorBoard 中 进行 可 视 化 的 简要 信 
息 。 可 以 通过 这 些 简要 信息 在 评估 过 程 中 进一步 的 了 解 模型 。 
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训练 脚本 会 为 所 有 学 习 变 量 计算 其 [移动 均值 href=“https://github. com/jikexueyuanwiki/tensorflow-zh/blob/ 
master/SOURCE/api docs/python/train. md^) ,评估 脚本 则 直接 将 所 有 学 习 到 的 模型 参数 替换 成 对 应 的 移动 均 
值 。 这 一 替代 方式 可 以 在 评估 过 程 中 提升 模型 的 性 能 


























练习 : 通过 precision € 1 测试 发 现 ， 使 用 均值 参数 可 以 将 预测 性 能 提高 约 3%， 在 cifar10_eval. py 中 尝试 修改 
为 不 采用 均值 参数 的 方式 ， 确认 由 此 市 来 的 预测 性 能 下 降 。 


| 在 多 个 GPU 板 卡 上 训练 模型 

















现代 的 工作 站 可 能 包含 多 个 GPU 进行 科学 计算 。TensorFlow 可 以 利用 这 一 环境 在 多 个 GPU 卡 上 运行 训练 程序 。 
























































在 并 行 、 分 布 式 的 环境 中 进行 训练 ， 需 要 对 训练 程序 进行 协调 。 对 于 接 下 来 的 描述 ， 术 语 春 型 述 幢 (model repli 
ca) 特 指 在 一 个 数据 子 集中 训练 出 来 的 模型 的 一 份 拷 贝 。 






































如 果 天 真 的 对 模型 参数 的 采用 异步 方式 更 新 将 会 导致 次 优 的 训练 性 能 ， 这 是 因为 我 们 可 能 会 基于 一 个 旧 的 模型 参 
数 的 拷贝 去 训练 一 个 模型 。 但 与 此 相反 采用 完全 同步 更 新 的 方式 ， 其 速度 将 会 变 得 和 最 慢 的 模型 一 样 慢 (Converse 


ly, employing fully synchronous updates will be as slow as the slowest model replica. ) 。 





























在 具有 多 个 GPU 的 工作 站 中 ， 每 个 GPU 的 速度 基本 接近 ， 并 且 都 含有 足够 的 内 存 来 运行 整个 CIFAR-10 模 型 。 因 此 我 
们 选择 以 下 方式 来 设计 我 们 的 训练 系统 : 


























。 在 每 个 GPU 上 放置 单独 的 模型 副本 ; 





























。 等 所 有 GPU 处 理 完 一 批 数 据 后 再 同步 更 新 模型 的 参数 ; 








下 图 示意 了 该 模型 的 结构 : : 












| gradients 














可 以 看 到 ， 每 一 个 GPU 会 用 一 批 独立 的 数据 计算 梯度 和 估计 值 。 这 种 设置 可 以 非常 有 效 的 将 一 大 批 数 据 分 割 到 各 个 
GPU 上 。 
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这 一 机 仍 
和 更 新 所 有 模型 的 参数 (对 应 图 


图 





g 








4m 


要 求 所 有 








FP 所 有 的 GPU 是 同步 运行 的 。 所 有 GPU 中 的 梯度 会 累积 

















GPU 能 够 共享 模型 参数 。 但 是 众所周知 在 GPU 之 间 传 输 数据 非常 的 慢 ， 因 此 我 们 决定 在 CPU 上 存储 


中 绿色 矩形 的 位 置 ) 。 这 样 一 来 ，GPU 在 处 理 一 批 新 的 数据 之 前 会 更 新 一 遍 的 参数 。 







































































求 平均 值 (绿色 方术 





EA) 。 模 型 参数 会 利用 所 有 模型 副 





N 








本 梯度 的 均值 来 更 新 。 


在 多 个 设备 中 设置 变量 和 操作 





在 多 个 设备 中 设置 


7 




















变量 和 操作 时 需要 做 一 些 特殊 的 抽象 。 





我 们 首先 需要 把 在 8 
为 “tower”。 对 于 每 一 个 “tower” 我 们 都 需要 设 
为 所 有 操作 设 定 一 个 唯一 的 名 称 。 
iki/tensorflow-zh/blob/master/SOURCE/api docs/python/framework. md") 通过 添加 


* fE—^^towerH 








1j 


























个 模型 拷贝 中 计算 估计 值 和 梯度 的 行为 抽象 到 一 个 函数 中 。 在 代码 中 ， 我 们 称 这 个 抽象 对 象 
av m mE: 

[ tf.name scope() href-"https://github. com/ jikexu 
围 前 绥 来 提供 该 唯一 
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个 范 































































































名 称 。 比 如 ， 第 一 个 tower 中 的 所 有 操作 都 会 附带 一 个 前 缀 tower 0 ， 示 例 : tower 0/convl/Conv2D ; 
。 在 一 个 tower 中 运行 操作 的 优先 硬件 设备 。 [ tf. deviceO href-"https://github. com/ jikexueyuanwiki/ten 
sorflow-zh/blob/master/SOURCE/api docs/python/framework.md") 提供 该 信息 。 比 如 ， 在 第 一 个 tower 中 
的 所 有 操作 都 位 于 device( /gpu:0 ) 范围 中 ， 有 暗含 的 意思 是 这 些 操 作 应 该 运行 在 第 一 块 GCPU 上 ; 
为 了 在 多 个 GPU 上 共享 变量 ， 所 有 的 变量 都 绑 定 在 CPU 上 ， 并 通过 [ tf. get variable) href-"https://github. com/ 


















































jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/api docs/python/state ops. md#get variable) 访 问 。 可 


以 查看 Sharing Variables 以 了 解 如 何 




















CUM. 





启动 并 在 多 个 GPU 上 训练 模型 


如 果 你 的 机 器 上 安装 有 多 块 GPU， 你 可 以 通过 使 用 cifarlO multi gpu train. py 脚本 来 加 速 模型 训练 。 该 脚本 是 训 


练 脚本 的 一 个 变种 ， 使 用 多 个 GPU 实现 模型 # 

















行 训练 。 








python cifarl0 multi gpu train. py --num gpus-2 


训练 脚本 的 输 昌 


Filling queue 
2015-11-04 
2015-11-04 
2005 02. 
2015-11-04 
2015-11-04 
2015-11-04 


lils 
iliis 
itis 
118 
irs 
tiis 





Hn PETS: 


with 20000 CIFAR images before starting to train. This will take a few minutes. 


45:45. 921302: 
45:49. 133065: 
45:51. 397710: 
45:54. 446850: 
45:57. 152676: 
46:00. 437717: 


step 0, loss = 4.68 (2.0 examples/sec; 64.221 sec/batch) 


step 10, loss = 4.66 (533.8 examples/sec; 0.240 sec/batch) 
step 20, loss = 4.64 (597.4 examples/sec; 0.214 sec/batch) 
step 30, loss = 4.62 (391.0 examples/sec; 0.327 sec/batch) 
step 40, loss = 4.61 (430.2 examples/sec; 0.298 sec/batch) 
step 50, loss = 4.59 (406.4 examples/sec; 0.315 sec/batch) 
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需要 注意 的 是 默认 的 GPU 使 用 数 是 1， 此 外 ， 如 果 你 的 机 器 上 只 有 一 个 GPU， 那 么 所 有 的 计算 都 只 会 在 一 个 GPU 上 运 














行 ， 即 便 你 可 能 设置 的 是 N 个 。 




















练习 : cifarl0 train. py 中 的 批 处 理 大 小 默认 配置 是 128。 尝 试 在 2 个 GPU 上 运行 cifarl0 multi gpu train. py Bl 

















本 ， 并 且 设 定 批 处 理 大 小 为 64， 然 后 比较 2 种 方式 的 训练 速度 。 





























ART! 你 已 经 完成 了 CIFAR-10 教 程 。 如 果 你 对 开发 和 训练 自己 的 图 像 分 类 系统 感 兴趣 ， 我 们 推荐 你 新 建 一 个 基 
于 该 教程 的 分 支 ， 并 修改 其 中 的 内 容 以 建立 解决 您 问题 的 图 像 分 类 系统 。 


























练习 : 下 载 Street View House Numbers (SVHN) 数据 集 。 新 建 一 个 CIFAR-10 教 程 的 分 支 ， 并 将 输入 数据 替换 成 S 
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Ta 
HE o 
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VHN。 尝 试 改变 网 络 结构 以 提高 预测 性 


am 


原文 : [Convolutional Neural Networkshref-"http://tensorflow. org/tutorials/deep cnn/index.md^) 翻 


译 : oskycar 校对 : KKASBB 
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Vector Representations of Words 











在 本 教程 我 们 来 看 一 下 Mikolov et al 中 提 到 的 word2vec 模 型 。 该 模型 是 用 于 学 习 文 字 的 向 量 表 示 ， 称 之 为 “word 

















embedding” > 





本 教程 意 在 展现 出 在 TensorfLow 中 构建 word2vec 模 型 有 趣 、 本 质 的 部 分 。 


























。 我 们 从 我 们 为 何 需 要 使 用 向 量 表示 文学 开始 。 








。 我 们 通过 直观 地 例子 观察 模型 背后 的 本 质 ， 以 及 它 是 如 何 训练 的 (通过 一 些 数学 方法 评估 )〉。 














。 同时 我 们 也 展示 了 TensorFlow 对 该 模型 的 简单 实现 。 














。 最 后 ， 我 们 着 眼 于 让 给 这 个 简单 版 本 的 模型 表现 更 好 。 


























我 们 会 在 教程 的 推进 中 循序 渐进 地 解释 代码 ， 但 是 如 果 你 更 希望 直入 主题 ， 可 以 在 tensorflow/g3doc/tutorial 
s/word2vec/word2vec basic. py 查看 到 一 个 最 简单 的 实现 。 这 个 基本 的 例子 提供 的 代码 可 以 完成 下 载 一 些 数 

据 ， 简 单 训练 后 展示 结果 。 一 旦 你 觉得 已 经 完全 掌握 了 这 个 简单 版 本 ， 你 可 以 查看 tensorflow/models/embeddin 
g/word2vec. py， 这 里 提供 了 一 些 更 复杂 的 实现 ， 同 时 也 展示 了 TensorFlow 的 一 些 更 进 阶 的 特性 ， 比 如 如 何 更 高 效 
地 使 用 线程 将 数据 送 入 文本 模型 ， 再 比如 如 何在 训练 中 设置 检查 点 等 等 。 
















































































































































































但 是 首先 ， 让 我 们 来 看 一 下 为 何 需要 学 习 word embeddings。 如 果 你 对 word embeddings 相 关内 容 已 经 是 个 专家 
了 ， 那 么 请 安心 跳 过 本 节 内 容 ， 直 接 深入 细节 干 一 些 脏 活 吧 。 


























| 动机 : 为 什么 需要 学 习 Word Embeddings? 












































通常 图 像 或 音频 系统 处 理 的 是 由 图 片 中 所 有 单个 原始 像素 点 强度 值 或 者 音频 中 功率 谱 密 度 的 强度 值 ， 把 它们 编码 
成 丰富 、 高 纬度 的 向 量 数 据 集 。 对 于 物体 或 语音 识别 这 一 类 的 任务 ， 我 们 所 需 的 全 部 信息 已 经 都 存储 在 原始 数据 
中 (显然 人 类 本 身 就 是 依赖 原始 数据 进行 日 常 的 物体 或 语音 识别 的 ) 。 然 后 ， 自 然 语 言 处 理 系统 通常 将 词汇 作为 
离散 的 单一 符号 ， 例 如 “cat” 一 词 或 可 表示 为 1d537 ， 而 “dog” 一 词 或 可 表示 为 Id143 。 这 些 符号 编码 毫 无 
规律 ， 无 法 提供 不 同 词汇 之 间 可 能 存在 的 关联 信息 。 换 名 话说 ， 在 处 理 关 于 “dogs” 一 词 的 信息 时 ， 模 型 将 无 法 
利用 已 知 的 关于 “cats” 的 信息 〈 例 如， 它们 都 是 动物 ， 有 四 条 腿 ， 可 作为 宠物 等 等 ) 。 可 见 ， 将 词汇 表达 为 上 
述 的 独立 离散 符号 将 进一步 导致 数据 稀 朴 ， 使 我 们 在 训练 统计 模型 时 不 得 不 寻求 更 多 的 数据 。 而 词汇 的 向 量 表示 
将 克服 上 述 的 难题 。 
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AUDIO IMAGES TEXT 





Word, context, or 
document vectors 


DENSE DENSE SPARSE 


Audio Spectrogram Image pixels 











向 量 空 间 模型 (VSM) KCRA GRE 于 一 个 连续 的 向 量 空间 中 ， 语 义 近 似 的 词汇 被 映射 为 相 邻 的 数据 点 。 向 
量 空间 模型 在 自然 语言 处 理 领 域 中 有 着 漫长 且 丰 富 的 历史 ， 不 过 几乎 所 有 利用 这 一 模型 的 方法 都 依赖 于 分 布 式 假 
设 ， 其 核心 思想 为 出 现 于 上 下 文 情景 中 的 词汇 都 有 相 类 似 的 语义 。 采 用 这 一 假设 的 研究 方法 大 致 分 为 以 下 两 

类 : 基于 投 枯 的 方法 (e.g， 潜 在 语义 分 析 )， 和 预测 方法 (e.g. 神经 概率 化 语言 模型 ). 























































































































其 中 它们 的 区 别 在 如 下 论文 中 又 详细 阐述 Baroni et al. ， 不 过 简 而 言 之 : 基于 计数 的 方法 计算 某 词汇 与 其 邻近 
词汇 在 一 个 大 型 语料库 中 共同 出 现 的 频率 及 其 他 统计 量 ， 然 后 将 这 些 统计 量 映射 到 一 个 小 型 且 稠 密 的 向 量 中 。 预 
测 方法 则 试图 直接 从 某 词汇 的 邻近 词汇 对 其 进行 预测 ， 在 此 过 程 中 利用 已 经 学 习 到 的 小 型 且 稠 密 的 旗 套 应 量 。 



























































































































































Word2vec 是 一 种 可 以 进行 高 效率 词 骨 套 学 习 的 预测 模型 。 其 两 种 变 体 分 别 为 : 连续 词 袋 模型 CCBOW) 及 Skip-Gram 
模型 。 从 算法 角度 看 ， 这 两 种 方法 非常 相似 ， 其 区 别 为 CBOW 根 据 源 词 上 下 文 词汇 C the cat sits on the ) 来 预 
测 目标 词汇 (例如 ， ‘mat? ) ， 而 Skip-Gram 模 型 做 法 相反 ， 它 通过 目标 词汇 来 预测 源 词汇 。Skip-Gram 模 型 采取 
CBOW 的 逆 过 程 的 动机 在 于 : CBOW 算 法 对 于 很 多 分 布 式 信息 进行 了 平滑 处 理 〈 例 如 将 一 整 段 上 下 文 信息 视 为 一 个 单 
一 观察 量 ) 。 很 多 情况 下 ， 对 于 小 型 的 数据 集 ， 这 一 处 理 是 有 帮助 的 。 相 形 之 下 ，Skip-Gram 模 型 将 每 个 “上 下 
文 - 目 标 词汇 ”的 组 合 视 为 一 个 新 观察 量 ， 这 种 做 法 在 大 型 数据 集中 会 更 为 有 效 。 本 教程 余下 部 分 将 着 重 讲解 Ski 


p-Gram 模 型 。 










































































































































































| 处 理 噪声 对 比 训练 



































由 经 概率 化 语言 模型 通常 使 用 极 大 似 然 法 (ML) 进行 训练 ， 其 中 通过 softmax function 来 最 大 化 当 提 供 前 一 个 
单词 h (代表 “history”)， 后 一 个 单词 的 概率 
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(CX "target^), 
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P(w,|h) = softmax(score(w,, h)) 
E expíscore(w,, h)) 
2 Word win Vocab XP Iscore(w', h)} i 











当 score(w t,h) 计算 了 文字 wt 和 上 下 文 h 的 相 容 性 (通常 使 用 向 量 积 ) 。 我 们 使 用 对 数 似 然 函 数 来 训练 训 
练 集 的 最 大 值 ， 比 如 通过 : 











Jur = log P(wi|h) 


= score(u;, h) — log bJ exp{score(w', h)} 


Word w’ in Vocab 

















这 里 提出 了 一 个 解决 语言 概率 模型 的 合适 的 通用 方法 。 然 而 这 个 方法 实际 执行 起 来 开销 非常 大 ， 因 为 我 们 需要 
计算 并 正则 化 当前 上 下 文 环境 h 中 所 有 其 他 V 单词 w RID EEEE.. 


















































Softmax classifier 


Hidden layer 


im pJOM AqJeeu joipeud 


Projection layer the cat sits on the mat 
S —— 


context/history h target w, 


























从 另 一 个 角度 来 说 ， 当 使 用 word2vec 模 型 时 ， 我 们 并 不 需要 对 概率 模型 中 的 所 有 特征 进行 学 习 。 而 CBOW 模 型 和 Ski 
p-Gram 模 型 为 了 避免 这 种 情况 发 生 ， 使 用 一 个 二 分 类 器 〈 逻 辑 回 归 ) 在 同一 个 上 下 文 环 境 里 从 k 虚构 的 〈 噪 声 ) 


单词 
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。 我 们 下 面 详细 阐述 一 下 CBOW 模 型 ， 对 于 Skip-Gram 模 型 上 只 要 简单 地 做 相反 的 操作 即 可 。 
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Noise classifier 







Qu) vs. O (2 (09 --- (i) 


NL 


Hidden layer bh 3 


the cat sits on the mat 


从 数学 角度 来 说 ， 我 们 的 目标 是 对 每 个 样本 最 大 化 : 





Projection layer 




















Jyec =logQo(D=1lw,h)+k E — [logQo(D = 0,h) 
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D 














标 单词 w 使 用 二 分 类 逻辑 回归 计算 得 出 的 概率 。 在 实践 中 ， 我 们 通过 在 噪声 分 布 中 绘制 比 对 文字 来 获得 近似 
的 期 望 值 (通过 计算 蒙特 卡 治平 均值 ) 。 







































































当真 实地 目标 单词 被 分 配 到 较 高 的 概率 ， 同 时 噪声 单词 的 概率 很 低 时 ， 目 标 函 数 也 就 达到 最 大 值 了 。 从 技术 层面 
来 说 ， 这 种 方法 叫做 负 抽样 ， 而 且 使 用 这 个 损失 函数 在 数学 层面 上 也 有 很 好 的 解释 : 这 个 更 新 过 程 也 近似 于 soft 
max 函 数 的 更 新 。 这 在 计算 上 将 会 有 很 大 的 优势 ， 因 为 当 计 算 这 个 损失 函数 时 ， 只 是 有 我 们 挑选 出 来 的 k 个 MEET 
单词 ， 而 没有 使 用 整个 语料库 V。 这 使 得 训练 变 得 非常 快 。 我 们 实际 上 使 用 了 与 noise-contrastive estimation 
NCE) 介绍 的 非常 相似 的 方法 ， 这 在 TensorFlow 中 已 经 封装 了 一 个 很 便捷 的 函数 tf. nn. nce loss() o 
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让 我 们 在 实践 中 来 直观 地 体会 它 是 如 何 运作 的 ! 








| Skip-gram 模型 





下 面 来 看 一 下 这 个 数据 集 


the quick brown fox jumped over the lazy dog 
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我 们 首先 对 一 些 单词 以 及 它们 的 上 下 文 环境 建立 一 个 数据 集 。 我 们 可 以 以 任何 合理 的 方式 定义 “上 下 文 ”， 而 通 
常 上 这 个 方式 是 根据 文字 的 句法 语 境 的 (使 用 语法 原理 的 方式 处 理 当 前 目标 单词 可 以 看 一 下 这 篇 文献 Levy et a 
1. ， 比 如 说 把 目标 单词 左边 的 内 容 当 做 一 个 “上 下 文 ”， 或 者 以 目标 单词 右边 的 内 容 ， 等 等 。 现 在 我 们 把 目标 单 
词 的 左右 单词 视 作 一 个 上 下 文 ， 使 用 大 小 为 1 的 窗口 ， 这 样 就 得 到 这 样 一 个 由 (上 下 文 ， 目 标 单词 ) 组 成 的 数据 
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([the, brown], quick), ([quick, fox], brown), ([brown, jumped], fox), 














前 文 提 到 Skip-Gram 模 型 是 把 目标 单词 和 上 下 文 颠倒 过 来 ， 所 以 在 这 个 问题 中 ， 举 个 例子 ， 就 是 用 ”quick 来 预测 
he 和 ”brown”， 用 ”brown” 预 测 quick AI brown 。 因 此 这 个 数据 集 就 变 成 由 (输入 ， 输 出 ) 组 成 的 ; 



































(quick, the), (quick, brown), (brown, quick), (brown, fox), 














目标 函数 通常 是 对 整个 数据 集 建立 的 ， 但 是 本 问题 中 要 对 每 一 个 样本 (或 者 是 一 个 batch size 很 小 的 样本 
集 ， 通 常设 置 为 16 < batch size 《= 512 ) 在 同一 时 间 执行 特别 的 操作 ， 称 之 为 随机 梯度 下 降 (SGD)。 我 们 来 看 
一 下 训练 过 程 中 每 一 步 的 执行 。 





















































假设 用 t 表示 上 面 这 个 例子 中 quick 来 预测 tne 的 训练 的 单个 循环 。 用 num noise 定义 从 噪声 分 布 中 挑选 
出 来 的 噪声 (相反 的 ) 单词 的 个 数 ， 通 常 使 用 一 元 分 布 ，P(w) 。 为 了 简单 起 见 ， 我 们 就 定 num_noise=l ,用 shee 
p 选 作 噪声 词 。 接 下 来 就 可 以 计算 每 一 对 观察 值 和 噪声 值 的 损失 函数 了 ， 每 一 个 执行 步骤 就 可 表示 为 : 










































































Je。 — logQo(D = 1lthe, quick) +log(Qo(D = 0lsheep, quick)). 








整个 计算 过 程 的 目标 是 通过 更 新 峰 套 参数 














0 

的 梯度 ， 比 如 ， 

ð 

5; JNEG 

(幸好 TensorFlow 封 装 了 工具 函数 可 以 简单 调用 !) 。 对 于 整个 数据 集 ， 当 梯度 下 降 的 过 程 中 不 断 地 更 新 参数 ， 对 应 















































产生 的 效果 就 是 不 断 地 移动 每 个 单词 的 和 嵌 套 向 量 ， 直 到 可 以 把 真实 单词 和 噪声 单词 很 好 得 区 分 开 。 


























我 们 可 以 把 学 习 向 量 映 射 到 2 维 中 以 便 我 们 观察 ， 其 中 用 到 的 技术 可 以 参考 t-SNE 降 纬 技术 。 当 我 们 用 可 视 化 的 
方式 来 观察 这 些 向 量 ， 就 可 以 很 明显 的 获取 单词 之 间 语 义 信 息 的 关系 ， 这 实际 上 是 非常 有 用 的 。 当 我 们 第 一 次 发 
现 这 样 的 诱导 向 量 空间 中 ， 展 示 了 一 些 特定 的 语义 关系 ， 这 是 非常 有 趣 的 ， 比 如 文字 中 male-female, gender 
至 还 有 country-capital 的 关系 ， 如 下 方 的 图 所 示 (也 可 以 参考 Mikolov et al.，2013 论 文中 的 例子 ) 。 
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这 也 解释 了 为 什么 这 些 向 量 在 传统 的 NLP 问题 中 可 作为 特性 使 用 ， 比 如 用 在 对 一 个 演讲 章节 打 个 标签 ， 或 者 对 一 个 
专 有 名 词 的 识别 (看 看 如 下 这 个 例子 Collobert et al. 或 者 Turian et al. ) 。 


























不 过 现在 让 我 们 用 它们 来 画 漂亮 的 图 表 吧 ! 








| 建立 图 形 


这 里 谈 得 都 是 黄 套 ， 那 么 先 来 定义 一 个 幅 套 参数 矩阵 。 我 们 用 唯一 的 随机 值 来 初始 化 这 个 大 甜 阵 。 








embeddings = tf.Variable( 
tf. random uniform([vocabulary size, embedding size], -1.0, 1.0)) 


























对 噪声 - 比 对 的 损失 计算 就 使 用 一 个 逻辑 回归 模型 。 对 此 ， 我 们 需要 对 语料库 中 的 每 个 单词 定义 一 个 权重 值 和 偏差 
值 。( 也 可 称 之 为 输出 权重 与 之 对 应 的 ”输入 嵌 套 值 )。 定 义 如 下 。 











nce weights = tf.Variable( 
tf. truncated normal([vocabulary size, embedding size], 
stddev-1.0 / math. sqrt (embedding size))) 
nce biases = tf. Variable (tf. zeros([vocabulary size])) 




















我 们 有 了 这 些 参数 之 后 ， 就 可 以 定义 Skip-Gram 模 型 了 。 简 单 起 见 ， 假 设 我 们 已 经 把 语料库 中 的 文字 整 型 化 了 ， 这 

















样 每 个 整 型 代表 一 个 单词 (细节 请 查看 tensorflow/g3doc/tutorials/word2vec/word2vec basic. by) Skip-Gram 





















































模型 有 两 个 输入 。 一 个 是 一 组 用 整 型 表示 的 上 下 文 单词 ， 另 一 个 是 目标 单词 。 给 这 些 输入 建立 占 位 符 节 点 ， 之 后 
就 可 以 填 入 数据 了 。 








train inputs - tf.placeholder(tf. int32, shape-[batch size]) 
train labels - tf.placeholder(tf. int32, shape-[batch size, 1]) 






































Je AT S EDS HP REGII EE VLC IRE," TensorFlowte f I AEN TH eR ZI 














embed = tf. nn. embedding lookup(embeddings, train inputs) 
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好 了 ， 现 在 我 们 有 了 每 个 单词 的 内 套 向 量 ， 接 下 来 就 是 使 用 噪声 - 比 对 的 训练 方式 来 预测 目标 单词 








# 计算 NOE 损失 函数 ， 每 次 使 用 负 标签 的 样本 . 


loss = tf.reduce mean( 
tf.nn.nce loss(nce weights, nce biases, embed, train labels, 
num sampled, vocabulary size)) 

















我 们 对 损失 函数 建立 了 图 形 节点 ， 然 后 我 们 需要 计算 相应 梯度 和 更 新 参数 的 节点 ， 比 如 说 在 这 里 我 们 会 使 用 随机 
梯度 下 降 法 ，TensorFlow 也 已 经 封装 好 了 该 过 程 。 

















# 使 用 SGD judi 





Hu 
für. 


optimizer = tf. train. GradientDescentOptimizer(learning rate-l.0).minimize (loss) 


| 训练 模型 














训练 的 过 程 很 简 和 


pu 


， 只 要 在 循环 中 使 用 feed dict 不 断 给 占 位 符 填 充 数据 ， 同 时 调用 session. run 即 可 。 

















for inputs, labels in generate batch(...): 
feed dict = (training inputs: inputs, training labels: labels] 
., cur loss = session.run([optimizer, loss], feed dict-feed dict) 


完整 地 例子 可 参考 tensorflow/g3doc/tutorials/word2vec/word2vec basic. py. 


| 嵌 套 学 习 结 果 可 视 化 





使 用 t-SNE 来 看 一 下 嵌 套 学 习 完成 的 结果 。 
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高 级 的 特性 ， 上 有 具体 是 实现 可 以 参考 tensorflow/models/embedding/word2vec. py. 


| RERI: 类 比 推理 


嵌 套 在 NLP 的 预测 问题 中 是 非常 有 用 且 








期 的 一 样 ， 相 似 的 单词 被 聚 类 在 一 起 。 对 word2vec 模 型 更 复杂 的 实现 需要 用 到 TensorFlow 一 些 更 











使 用 广泛 地 。 如 果 要 检测 一 个 模型 是 否 是 可 以 成 熟地 区 





分 词性 或 者 区 





分 专 


有 名 词 的 模型 ， 最 简单 的 办 法 就 是 直接 检验 它 的 预测 词性 、 语 义 关系 的 能 力 ， 比 如 让 它 解决 形 如 king is to quee 


n as father is to ? 这 样 的 问题 。 





Jj: https://word2vec. googlecode. com/svn/trunk/questions-words. txt. 
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这 种 方法 叫做 类 上 比 蕉 理 ， 可 参考 Mikolov and colleagues， 数 据 集 下 载 地 址 





To see how we do this evaluation 如 何 执行 这 样 的 评估 ， 可 以 看 build eval graphO 和 evalO 这 两 个 函数 在 
下 面 源码 中 的 使 用 tensorflow/models/embedding/word2vec. py 



































超 参 数 的 选择 对 该 问题 解决 的 准确 性 有 巨大 的 影响 。 想 要 模型 具有 很 好 的 表现 ， 需 要 有 一 个 巨大 的 训练 数据 
集 ， 同 时 仔细 调整 参数 的 选择 并 且 使 用 例如 二 次 抽样 的 一 些 技巧 。 不 过 这 些 问 题 已 经 超出 了 本 教程 的 范围 。 







































































| 优化 实现 














以 上 简单 的 例子 展示 了 TensorFlow 的 灵活 性 。 比 如 说 ， 我 们 可 以 很 轻松 得 用 现成 的 tf. nn. sampled softmax los 
sO 来 代替 tf. nn. nce loss( 构成 目标 函数 。 如 果 你 对 损失 函数 想 做 新 的 尝试 ， 你 可 以 用 TensorFlow 手 动 编写 新 
的 目标 函数 的 表达 式 ， 然 后 用 控制 器 执行 计算 。 这 种 灵活 性 的 价值 体现 在 ， 当 我 们 探索 一 个 机 器 学 习 模型 时 ， 我 
们 可 以 很 快 地 遍历 这 些 尝试 ， 从 中 选 出 最 优 。 










































































一 旦 你 有 了 一 个 满意 的 模型 结构 ， 或 许 它 就 可 以 使 实现 运行 地 更 高 效 〈 在 短 时 间 内 履 盖 更 多 的 数据 ) 。 比 如 

说 ， 在 本 教程 中 使 用 的 简单 代码 ， 实 际 运行 速度 都 不 错 ， 因 为 我 们 使 用 Python 来 读 取 和 填 装 数据 ， 而 这 些 在 Tenso 
rFlow 后 台 上 只 需 执行 非常 少 的 工作 。 如 果 你 发 现 你 的 模型 在 和 输入 数据 时 存在 严重 的 瓶 须 ， 你 可 以 根据 自己 的 实际 问 
题 自行 实现 一 个 数据 阅读 器 ， 参 考 新 的 数据 格式 。 对 于 Skip-Gram 模型 ， 我 们 已 经 完成 了 如 下 这 个 例子 tensorf 


low/models/embedding/word2vec. py. 























































































































如 果 I/0 问 题 对 你 的 模型 已 经 不 再 是 个 问题 ， 并 且 想 进一步 地 优化 性 能 ， 或 许 你 可 以 自行 编写 TensorFlow 操 作 单 
元 ， 详 见 添加 一 个 新 的 操作 。 相 应 的 ， 我 们 也 提供 了 Skip-Gram 模 型 的 例子 tensorflow/models/embedding/word 
2vec_optimized. py。 请 自行 调节 以 上 几 个 过 程 的 标准 ， 使 模型 在 每 个 运行 阶段 有 更 好 地 性 能 



























































| 总 结 


在 本 教程 中 我 们 介绍 了 word2vec 模 型 , 它 在 解决 词 嵌 套 问题 中 具有 良好 的 性 能 。 我 们 解释 了 使 用 词 攀 套 模型 的 实用 
性 ， 并 且 讨 论 了 如 何 使 用 TensorFlow 实 现 该 模型 的 高 效 训练 。 总 的 来 说 ， 我 们 希望 这 个 例子 能 够 让 向 你 展示 Tenso 
rFlow 可 以 提供 实验 初期 的 灵活 性 ， 以 及 在 后 期 优化 模型 时 对 模型 内 部 的 可 操控 性 。 



































原文 地 址 : [Vector Representation of Wordshref-"https://github. com/tensorflow/tensorflow/blob/maste 


r/tensorflow/g3doc/tutorials/word2vec/index.md") 翻译 : btpeter 校对 ; waiwaizheng 
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递归 神经 网 络 


| 介绍 























可 以 在 this great article 碍 看 循环 神经 网 络 (RNN) 以 及 LSTM 的 介绍 。 


| 语言 模型 
































此 教程 将 展示 如 何在 高 难度 的 语言 模型 中 训练 循环 神经 网 络 。 该 问题 的 目标 是 获得 一 个 能 确定 语句 概率 的 概率 模 
型 。 为 了 做 到 这 一 点 ， 通 过 之 前 已 经 给 出 的 词语 来 预测 后 面 的 词语 。 我 们 将 使 用 PTB (Penn Tree Bank) 数据 
集 ， 这 是 一 种 常用 来 衡量 模型 的 基准 ， 同 时 它 比 较 小 而 且 训练 起 来 相对 快速 。 
























































语言 模型 是 很 多 有 趣 难 题 的 关键 所 在 ， 比 如 语音 识别 ， 机 器 翻译 ， 图 像 字 幕 等 。 它 很 有 意思 一 可 以 参看 here. 





T 





本 教程 的 目的 是 重 现 Zaremba et al., 2014 的 成 果 ， 他 们 在 PTB 数据 集 上 得 到 了 很 棒 的 结果 。 











| 教程 文件 

















本 教程 使 用 的 下 面 文件 的 目录 是 models/rnn/ptb : 


























文件 作用 

ptb word lm. py 在 PTB 数据 集 上 训练 一 个 语言 模型 . 
reader. py 读 取 数据 集 . 

下 载 及 准备 数据 











本 教程 需要 的 数据 在 data/ 路 径 下 ， 来 源 于 Tomas Mikolov 网 站 上 的 PTB 数据 集 http://www. fit. vutbr. cz/^ im 








ikolov/rnnlm/simple-examples. tgz 。 














该 数据 集 已 经 预先 处 理 过 并 且 包 含 了 全 部 的 10000 个 不 同 的 词语 ， 其 中 包括 语句 结束 标记 符 ， 以 及 标记 稀有 词语 
的 特殊 符号 (<unk>) 。 我 们 在 reader.py 中 转换 所 有 的 词语 ， 让 他 们 各 自 有 唯一 的 整 型 标识 符 ， 便 于 神经 网 
络 处 理 。 
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| 模型 


LSTM 
































模型 的 核心 由 一 个 LSTM 单元 组 成 ， 其 可 以 在 某 时 刻 处 理 一 个 词语 ， 以 及 计算 语句 可 能 的 延续 性 的 概率 。 网 络 的 
存储 状态 由 一 个 零 天 量 初始 化 并 在 读 取 每 一 个 词语 后 更 新 。 而 且 ， 由 于 计算 上 的 原因 ， 我 们 将 以 batch size 为 
最 小 批量 来 处 理 数据 。 



























































基础 的 伪 代 码 就 像 下 面 这 样 : 





lstm = rnn cell.BasicLSTMCell (lstm size) 
# 初始 化 LSM 存储 状态 . 


state = tf.zeros([batch size, lstm. state sizel) 


loss = 0.0 
for current batch of words in words in dataset: 
H 每 次 处 理 一 批 词语 后 更 新 状态 值 . 
output, state = lstm(current batch of words, state) 





# LSTM 输出 可 用 于 产生 下 一 个 词语 的 预测 
logits = tf.matmul (output, softmax w) + softmax b 
probabilities = tf. nn. softmax (logits) 
loss += loss function(probabilities, target words) 


截断 反 回 传播 








为 使 学 习 过 程 易 于 处 理 ， 通 常 的 做 法 是 将 反 向 传播 的 梯度 在 《〈 按 时间 ) 展开 的 步骤 上 照 一 个 固定 长 度 ( num. step 
s ) 截 断 。 通过 在 一 次 迭代 中 的 每 个 时 刻 上 提供 长 度 为 ”num_steps 的 输入 和 每 次 迭代 完成 之 后 反 向 传导 ， 这 会 
很 容易 实现 。 























一 个 简化 版 的 用 于 计算 图 创建 的 截断 反 向 传播 代码 ; 








# 一 次 给 定 的 迭代 中 的 输入 占 位 符 . 
words = tf.placeholder (tf. int32, [batch size, num steps]) 


lstm = rnn cell. BasicLSTMCell (lstm size) 
& 初始 化 LSM 存储 状态 . 


initial state = state = tf.zeros([batch size, lstm.state size]) 
for i in range(len(num steps)): 
# 每 处 理 一 批 词语 后 更 新 状态 值 . 


output, state = lstm(words[:, i], state) 


# 其 余 的 代码 
M 


final state = state 
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下 面 展现 如 何 实现 迭代 整个 数据 
保存 每 一 批 词语 之 后 的 LSTM 状态 














# 一 个 numpy 数组 ， 
numpy state = initial state. eval () 
total loss = 0.0 
for current batch of words in words in dataset: 

numpy state, current loss = session.run([final state, loss], 


# XS E—UORTRESHRMISBSA, LSTM 状态 
feed dict-(initial state: numpy state, words: current batch of words]) 


total loss *- current loss 


输入 
在 输入 LSTM 前 ， 词 语 ID 被 蔡 入 到 了 一 个 密集 的 表示 





Ph (查看 矢量 表示 教程 ) 。 这 种 方式 允许 模型 高 效 地 表示 词 














语 ， 也 便于 写 代码 ， 
[vocabulary size, embedding size] 
) 


& embedding matrix 张 量 的 形状 是 : 
word embeddings = tf.nn. embedding lookup(embedding matrix, word ids 








嵌入 的 矩阵 会 被 随机 地 初始 化 ， 模 型 会 学 会 通过 数据 分 辨 不 同 词语 的 意思 。 








损失 函数 
我 们 想 使 目标 词语 的 平均 负 对 数 概率 最 小 


In Page; 


ML 


ll 
一 


kiea 
Z N 4 








有 了 ， 可 以 直接 使 用 。 





已 经 





sequence loss by example 





民 难 ， 而 且 函 数 
时 标准 是 每 个 词语 的 平均 困惑 度 (perplexity) ， 计 算式 为 




















实现 起 来 并 非 4 














论文 中 的 典型 衡 直 


二 
e N Xi-ilnPiarget; — eloss 





同时 我 们 会 观察 训练 过 程 中 的 困惑 度 值 (perplexity) 。 
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多 个 LSM EHS 








要 想 给 模型 更 强 的 表达 能 力 ， 可 以 添加 多 层 LSTM 来 处 理 数 据 。 第 一 层 的 输 H 





类 MultiRNNCell 可 以 无 颖 的 将 其 实现 : 





lstm = rnn cell.BasicLSTMCell (lstm size) 
stacked lstm = rnn cell.MultiRNNCell([lstm| * number of layers) 


initial state - state - stacked lstm.zero state(batch size, tf.float32) 
for i in range(len(num steps)): 

# 每 次 处 理 一 批 词语 后 更 新 状态 值 . 

output, state = stacked lstm(words[:, i], state) 


其 余 的 代码 . 


H 
Hea 


H 


final_state = state 

















首先 需要 构建 库 ， 在 CPU 上 编译 : 





bazel build -c opt tensorflow/models/rnn/ptb:ptb word lm 


如 果 你 有 一 个 强大 的 GPU， 可 以 运行 : 





bazel build -c opt --config-cuda tensorflow/models/rnn/ptb:ptb word lm 


bazel-bin/tensorflow/models/rnn/ptb/ptb word lm \ 





8 作为 第 二 层 的 输入 ， 以 此 类 推 。 














—data path-/tmp/simple-examples/data/ —-alsologtostderr --model small 


教程 代码 中 有 3 个 支持 的 模型 配置 参数 ; "small^, "medium" fü ^large^. 
于 训练 的 超 参数 集 。 





























TH 


si: 








它们 指 的 是 LSTM 的 大 小 ， 以 及 用 





模型 越 大 ， 得 到 的 结果 应 该 更 好 。 在 测试 集中 small 模型 应 该 可 以 达到 低 于 120 的 困惑 度 (perplexity) ， 














arge 模型 则 是 低 于 80， 但 它 可 能 花费 数 小 时 来 训练 。 
| 除 此 之 外 ? 


还 有 儿 个 优化 模型 的 技巧 没有 提 到 ， 包 括 ; 
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il 


。 随时 间 降 低 学 习 率 ， 


* LSTM 层 间 dropout. 

















继续 学 习 和 更 改 代码 以 进一步 改善 模型 吧 。 





原文 : [Recurrent Neural Networkshref-"^http://tensorflow. org/tutorials/recurrent/index.md^) 翻译 : Wa 


rln 校对 : HongyangWang 
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曼 德 布 洛 特 Mandelbrot) 集合 














虽然 可 视 化 曼 德 布 洛 特 (Mandelbrot) 集 合 与 机 器 学 习 没 有 任何 关系 ， 但 这 对 于 将 TensorFlow 应 用 在 数学 更 广泛 的 
领域 是 一 个 有 趣 的 例子 。 实 际 上 ， 这 是 tensorflow 一 个 非常 直截了当 的 可 视 化 运用 。 “我 们 最 终 也 许 会 提供 一 种 
更 加 精心 设计 的 运用 方式 来 生成 真正 更 加 美丽 的 图 像 。) 























说 明 : 本 教程 使 用 了 IPython 的 notebook。 





| 基本 步骤 





首先 ， 我 们 需要 导入 一 些 库 。 





# 导入 仿真 库 


import tensorflow as tf 
import numpy as np 


# 导入 可 视 化 库 


import PIL. Image 

from cStringlIO import StringlO 

from IPython.display import clear output, Image, display 
import scipy.ndimage as nd 




















现在 我 们 将 定义 一 个 函数 来 显示 迭代 计算 出 的 图 像 。 





def DisplayFractal(a, fmt-' jpeg ) : 

“显示 迭代 计算 出 的 彩色 分 形 图 像 。 

a cyclic = (6.28*a/20. 0). reshape (list (a. shape) *[1]) 
img = np. concatenate ([10*20*np. cos (a cyclic), 
30450*np. sin(a cyclic) 
155-80*np. cos (a cyclic)], 2) 





img[a--a. max 0] ^ 0 

a = img 

a - np. uint8(np.clip(a, 0, 255)) 

f - StringlI0Q 

PIL. Image. fromarray (a). save(f, fmt) 
display (Image (data-f. getvalue())) 





| 会 话 (session) 和 变量 (variable) 初始 化 





为 了 操作 的 方便 ， 我 们 常常 使 用 交互 式 会 话 (interactive session) ， 但 普通 会 话 (regular session) 也 能 正 


常 使 用 。 





sess = tf. InteractiveSession() 
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我 们 可 以 




















3 由 的 混合 使 用 NumPy 和 TensorFlow， 这 一 点 非常 方便 。 


# 使 用 NumPy 创 建 一 个 在 [-2, 2]x[-2, 2] 范 围 内 的 2 维 复数 数组 


Ys i merali gsi 30 005 =2:1:0.005] 
Z = Xtlj*Y 








现在 我 们 定义 并 初始 化 一 组 TensorFlow 的 张 量 


E (tensors) 。 





xs = tf. constant (Z. astype ("complex64^)) 
zs = tf. Variable (xs) 


ns - tf. Variable(tf.zeros like(xs, "float32^")) 











TensorFlow 在 使 用 之 前 需要 你 明确 给 定 变量 的 初始 值 。 





tf.initialize all variables .run() 


定义 并 运行 计算 





现在 我 们 指定 更 多 的 计算 . . 
# 计算 一 个 新 值 2: z 2 +x 
Ze 
# 这 个 新 值 会 发 散 吗 ? 
not diverged = tf. complex abs(zs ) < 4 


# Eii zs HIER o 


# 

# 说 明 : 在 这 些 值 发 散 之 后 ， 我 们 仍然 在 计算 zs， 这 个 计算 消耗 特别 大 ! 
ü 如 果 稍微 简单 点 ， 这 里 有 更 好 的 方法 来 处 理 。 

# 


step - tf. group( 
zs.assign(zs ), 


ns.assign add(tf.cast(not diverged, ^f1oat32^)) 


) 





MG 





. 继续 执行 几 百 个 步骤 
for i in range(200): step. run() 
让 我 们 看 看 我 们 得 到 了 什么 。 


DisplayFractal (ns. eval Q) 
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图 片 2.26 jpeg 


结果 不 错 ! 


原文 : [Mandelbrot Sethref-"http: 


Aj: tensorf 


. : X PES 
tensorflow.org/tutorials/mandelbrot/index. md”) H 
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译 


偏 微分 方程 








TensorFlow 不 仅仅 是 用 来 机 器 学 习 ， 它 更 可 以 用 来 模拟 仿真 。 在 这 里 ， 我 们 将 通过 模拟 仿真 几 滴 落 入 一 块 方形 水 
池 的 雨点 的 例子 ， 来 引导 您 如 何 使 用 TensorFlow 中 的 偏 微分 方程 来 模拟 仿真 的 基本 使 用 方法 。 




















E: 本 教程 最 初 是 准备 做 为 一 个 IPython 的 手册 。 


译 者 注 : 关 于 偏 微分 方程 的 相关 知识 ， 译 者 推荐 读者 查看 网 易 公 开课 上 的 《 麻 省 理工 学 院 公 开课 : 多 变量 微 
积分 》 课 程 。 


| 基本 设置 








首先 , 我 们 需要 导入 一 些 必要 的 引用 。 





# 导 入 模拟 仿真 需要 的 库 


import tensorflow as tf 
import numpy as np 


# 导 入 可 视 化 需要 的 库 
import PIL. Image 


from cStringlIO import StringlO 
from IPython.display import clear output, Image, display 








然后 ， 我 们 还 需要 一 个 用 于 表示 池塘 表面 状态 的 函数 。 


def DisplayArray(a, fmt= jpeg , rng-[0,1]): 
^""Display an array as a picture. "^ 
a = (a - rng[0]) /float(rng[1] = rng[0]):*255 
a - np. uint8(np.clip(a, 0, 255)) 
f - StringIOQ 
PIL. Image. fromarray (a). save (£, fmt) 
display (Image (data-f. getvalue())) 

















最 后 ， 为 了 方便 演示 ， 这 里 我 们 需要 打开 一 个 TensorFlow 的 交互 会 话 (interactive session) 。 当 然 为 了 以 后 
能 方便 调用 ， 我 们 可 以 把 相关 代码 写 到 一 个 可 以 执行 的 Python 文件 中 。 

















sess - tf. InteractiveSession() 


定义 计算 函数 


def make kernel (a): 
^""'Transform a 2D array into a convolution kernel 
a = np.asarray (a) 
a - a.reshape(list(a.shape) * [1,1]) 


nnn 
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return tf.constant(a, dtype-l) 


def simple conv(x, k): 
^""A simplified 2D convolution operation 
x = tf. expand dims (tf. expand dims(x, 0), -1) 
Y= tf.nn.depthwise conv2d(x, k, [1, 1, 1, 1], padding-' SAME') 
mervin viO, s. s. 0l 


nnn 


def laplace (x): 
^""Compute the 2D laplacian of an array 
laplace k - make kernel([[0.5, 1.0, 0.5] 
Ao -8,. Lol 
[0.5, 1.0, 0.511) 
return simple conv(x, laplace k) 


nnn 

















N - 500 








然后 ， 我 们 需要 创建 了 一 个 池塘 和 几 滴 将 要 险 入 池塘 的 雨滴 。 








8 Initial Conditions — some rain drops hit a pond 


8 Set everything to zero 


u init = np.zeros([N, N], dtype-"float32") 
ut init - np.zeros([N, N], dtype-^float32^) 


4 Some rain drops hit a pond at random points 
for n in range (40) : 
a,b = np.random.randint(0, N, 2) 


u init[a, b] = np. random. uniform Ó 


DisplayArray(u init, rng-[-0.1, 0.1]) 
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首先 , 我 们 需要 创建 一 个 完美 的 500 x 500 的 正方 形 池塘 , 就 像 是 我 们 在 现实 中 找到 的 一 相 


Tk 








图 片 2.27 jpeg 





现在 ， 让 我 们 来 指定 该 微分 方程 的 一 些 详细 参数 。 





# Parameters: 
8 eps — time resolution 
# damping — wave damping 


eps - tf. placeholder(tf.float32, shape 0) 
damping = tf. placeholder (tf. float32, shape-() 


# Create variables for simulation state 


U - tf. Variable(u init) 
Ut = tf. Variable(ut init) 


8 Discretized PDE update rules 


U -U + eps * Ut 
Ut - Ut * eps * (laplace(U) - damping ** Ut) 


4 Operation to update the state 


step = tf. group( 
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U.assign(U ), 
Ut. assign(Ut )) 


开始 仿真 


为 了 能 看 清 仿 真 效果 ， 我 们 可 以 用 一 个 简单 的 for 循环 来 远 行 我 们 的 仿真 程序 。 





8 Initialize state to initial conditions 
tf.initialize all variables O.run() 
8 Run 1000 steps of PDE 


for i in range (1000) : 
8 Step simulation 
step. run({eps: 0.03, damping: 0.04]) 
8 Visualize every 50 steps 
if i % 50 = 0: 
clear output () 
DisplayArray(U.eval( , rng-[-0.1, 0.1]) 





图 片 2.28 jpeg 
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看 ! ! 雨点 落 在 池塘 中 , 和 现实 中 一 样 的 泛 起 了 涟 游 。 


原文 链接 : [http://tensorflow. org/tutorials/pdes/index. mdhref-" http: //tensorflow. org/tutorials/pdes/ 


index. md”) 翻译 :@wangaicc 校对 :@tensorfly 
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MNIST 数据 下 载 


源码 : tensorflow/g3doc/tutorials/mnist/ 

















本 教程 的 目标 是 展示 如 何 下 载 用 于 手写 数字 分 类 问题 所 要 用 到 的 经典 )MNIST 数 据 集 。 























| 教程 文件 
本 教程 需要 使 用 以 下 文件 : 
文件 目的 
input data. py 下 载 用 于 训练 和 测试 的 MNIST 数 据 集 的 源码 
| 准备 数据 
MNIST 是 在 机 器 学 习 领域 中 的 一 个 经 典 问 题 。 该 问题 解决 的 是 把 28x28 像 素 的 灰 度 手写 数字 图 片 识别 为 相应 的 数 

















学 ， 其 中 数学 的 范围 从 0 到 9. 


了 OIL 


图 片 2.29 MNIST Digits 





更 多 详情 ， 请 参考 Yann LeCun's MNIST page 或 Chris Olah's visualizations of MNIST 


下 载 




















Yann LeCun s MNIST page 也 提供 了 训练 集 与 测试 集 数 据 的 下 载 。 


文件 内 容 















































train-images-idx3-ubyte. gz 训练 集 图 片 - 55000 张 训练 图 片 ，5000 张 验证 图 片 
train-labels-idxl-ubyte. gz 训练 集 图 片 对 应 的 数字 标签 
tlOk-images-idx3-ubyte. gz 测试 集 图 片 - 10000 张 图 片 
tlOk-labels-idxl-ubyte. gz 测试 集 图 片 对 应 的 数字 标签 
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在 input data.py 文件 中 ， maybe_download() 函数 可 以 确保 这 些 训练 数据 下 载 到 本 地 文件 夹 中 。 




















文件 夹 的 名 字 在 ”fully_connected feed.py 文件 的 顶部 由 一 个 标记 变量 指定 ， 你 可 以 根据 自己 的 需要 进行 修改 。 





解压 与 重 构 









































这 些 文 件 本 身 并 没有 使 用 标准 的 图 片 格式 储存 ， 并 且 需 要 使 用 input data.py 文件 中 extract images() 和 extra 
ct labels 函数 来 手动 解压 〈 页 面 中 有 相关 说 明 ) 。 









































页 


片 数据 将 被 解压 成 2 维 的 tensor: [image index, pixel index] 其 中 每 一 项 表示 某 一 图 片 中 特定 像素 的 强度 值 ， 
范围 从 [0，255] 到 [-0.5, 0.5] 。“image index “代表 数据 集中 图 片 的 编号 ， 从 0 到 数据 集 的 上 限 值 。 “pixel 
index “代表 该 图 片 中 像素 点 得 个 数 ， 从 0 到 图 片 的 像素 上 限 值 。 

























































































以 train 开头 的 文件 中 包括 60000 个 样本 ， 其 中 分 割 出 55000 个 样本 作为 训练 集 ， 其 余 的 5000 个 样本 作为 验证 
集 。 因 为 所 有 数据 集中 28x28 像 素 的 灰 度 图 片 的 尺寸 为 784， 所 以 训练 集 输出 的 tensor 格 式 为 [55000, 784] 。 









































FI 

















数字 标签 数据 被 解压 称 1 维 的 tensor: [image index] ， 它 定义 了 每 个 样本 数值 的 类 别 分 类 。 对 于 训练 集 的 标签 来 


说 ， 这 个 数据 规模 就 是 : [55000] . 























底层 的 源码 将 会 执行 下 载 、 解 压 、 重 构图 片 和 标签 数据 来 组 成 以 下 的 数据 集 对 象 : 







































































数据 集 目的 
datasets ea 55000 组 图 片 和 标签 ， 用 于 训练 。 
data sets. validation 5000 组 图 片 和 标签 ， 用 于 迭代 验证 训练 的 准确 性 。 
data sets. test 10000 组 图 片 和 标签 ， 用 于 最 终 测试 训练 的 准确 性 。 
执行 read data sets 函数 将 会 返回 一 个 Dataset 实例 ， 其 中 包含 了 以 上 三 个 数据 集 。 函 数 DataSet. next_batc 





























hO 是 用 于 获取 以 batch size 为 大 小 的 一 个 元 组 ， 其 中 包含 了 一 组 图 片 和 标签 ， 该 元 组 会 被 用 于 当前 的 TensorFlo 


wW 运 算 会 话 中 。 











images feed, labels feed = data_set. next_batch (FLAGS. patch size) 


原文 地 址 : [MNIST Data Downloadhref-"https://github. com/tensorflow/tensorflow/blob/master/tensorflo 


w/g3doc/tutorials/mnist/download/index.md") 翻译 : btpeter 校对 : waiwaizheng 
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综述 Overview 


| Variables: 创建 ， 初 始 化 ， 保 存 ， 和 恢复 


TensorFlow Variables 是 内 存 中 的 容纳 tensor 的 缓存 。 这 一 小 节 介 绍 了 用 它们 在 模型 训练 时 (during trainin 
g) 创建 、 保 存 和 更 新 模型 参数 (model parameters) 的 方法 。 














参看 教程 


| TensorFlow 机 制 101 








用 MIST 手写 数字 识别 作为 一 个 小 例子 ， 一 步 一 步 的 将 使 用 TensorFlow 基础 架构 (infrastructure) 训练 大 规模 
模型 的 细节 做 详细 介绍 。 











I 


























参看 教程 


| TensorBoard: 学 习 过 程 的 可 视 化 

















对 模型 进行 训练 和 评估 时 ，TensorBoard 是 一 个 很 有 用 的 可 视 化 工具 。 此 教程 解释 了 创建 和 运行 TensorBoard 的 
方法 ， 和 使 用 摘要 操作 (Summary ops) 的 方法 ， 通 过 添加 摘要 操作 (Summary ops) ， 可 以 自动 把 数据 传输 到 Tensor 
Board 所 使 用 的 事件 文件 。 












































参看 教程 


| TensorBoard: 图 的 可 视 化 





此 教程 介绍 了 在 TensorBoard 中 使 用 可 视 化 工具 的 方法 ， 它 可 以 帮助 你 理解 张 量 流 图 的 过 程 并 debug. 























参看 教程 





数据 读 入 








此 教程 介绍 了 把 数据 传 入 TensorSlow 程序 的 三 种 主要 的 方法 : Feeding, Reading 和 Preloading. 











参看 教程 
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| 线程 和 队列 


此 教程 介绍 TensorFlow H 





参看 教程 





| 添加 新 的 op 

















TensorFlow 已 经 提供 一 整套 








加 














参看 教程 。 




















自 定义 数据 的 Readers 











VUES 











MAHAKA 


EHI 

















E 定义 数据 集 口 » 


据 自身 的 格式 将 其 读 入 。 











参看 教程 。 


| 使 用 GPus 





节点 操作 () operation), 
自 定义 操作 (custom op) 的 细节 。 





为 了 更 容易 进行 异步 和 并 发 训练 的 各 种 不 同 结构 (constructs) 。 























=| 
amp 
CC 
S 
E% 

: 
2 





想 要 对 TensorFlow 的 Data Readers 进行 扩展 ， 





此 教程 描述 了 用 多 个 GPU 构建 和 运行 模型 的 方法 。 





参看 教程 
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当 在 多 GPU 








Im 





的 实现 。 


= 


参看 教程 。 


原文 : 


How-to 


量 (Variable) 进行 


共享 变量 Sharing Variables 


上 部 署 大 型 的 模型 ， 或 展开 


读 写 常常 是 


Tk C 


必须 的 。 








复杂 的 LSTMs 或 RNNs 时 ， 在 模型 构建 代码 的 不 同位 置 























设计 变量 作用 域 (Variable Scope) 机 第 





TE 
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|o 运作 方式 





你 可 以 在 你 的 graph 中 随意 使 用 它们 ， 不 过 这 里 有 关于 添 


它 能 直接 以 数 





对 许多 相同 的 变 


的 就 是 为 了 帮助 上 述 任务 





翻译 ; Terence Cooper 


校对 : lonlonago 
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变量 :创建 、 初 始 化、 保存 和 加 载 


M^, 


当 训练 模型 时 ， 用 [变量 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/api docs/py 


| 























thon/state ops.md ) 来 存储 和 更 新 参数 。 变 量 包 含 张 量 (Tensor) 存放 于 内 存 的 缓存 区 。 建 模 时 它们 需要 被 明确 
地 初始 化 ， 模 型 训练 后 它们 必须 被 存储 到 磁盘 。 这 些 变 量 的 值 可 在 之 后 模型 训练 和 分 析 是 被 加 载 。 



































本 文档 描述 以 下 两 个 TensorFlow 类 。 点 击 以 下 链接 可 查看 完整 的 API 文 档 : 


e [tf.Variable href-^ https: //github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/api docs/pytho 


n/state ops.md") 类 


e [ tf. train. Saver href-7^https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/api docs/pyt 


hon/state ops.md") 类 


| en 





当 创 建 一 个 [变量 href=“https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/api docs/python/s 
tate_ops. md) 时 ， 你 将 一 个 张 量 作为 初始 值 传 入 构造 函数 Variable() 。TensorFlow 提 供 了 一 系列 操作 符 来 初始 
化 张 量 ， 初 始 值 是 常量 或 是 随机 值 。 








中 
































注意 ， 所 有 这 些 操作 符 都 需要 你 指定 张 量 的 shape。 那 个 形状 自动 成 为 变量 的 shape。 变 量 的 shape 通 常 是 固定 
的 ， 但 TensorFlow 提 供 了 高 级 的 机 制 来 重新 调整 其 行列 数 。 















































# Create two variables. 
weights = tf. Variable (tf. random normal([784, 200], stddev=0. 35), 


name-^ weights") 
biases = tf.Variable(tf.zeros([200]), name-"biases^) 


调用 tf.VariableO 添加 一 些 操作 (0p，operation) 到 graph: 





In 





。 一 个 Variable 操作 存放 变量 的 1 





o 





























。 一 个 初始 化 op 将 变量 设置 为 初始 值 。 这 事实 上 是 一 个 tf. assign 操作 . 





。 初始 值 的 操作 ， 例 如 示例 中 对 biases 变量 的 zeros 操作 也 被 加 入 了 graph。 








Ir 














tf. Variable 的 返回 值 是 Python 的 tf. Variable 类 的 一 个 实例 。 
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| 初始 化 



































变量 的 初始 化 必须 在 模型 的 其 它 操作 运行 之 前 先 明确 地 完成 。 最 简单 的 方法 就 是 添加 一 个 给 所 有 变量 初始 化 的 操 
作 ， 并 在 使 用 模型 之 前 首先 运行 那个 操作 。 























你 或 者 可 以 从 检查 点 文件 中 重新 获取 变量 值 ， 详 见 下 文 。 





























使 用 tf. initialize all variables O 添加 一 个 操作 对 变量 做 初始 化 。 记 得 在 完全 构建 好 模型 并 加 载 之 后 再 运行 那 
个 操作 。 


























8 Create two variables. 
weights = tf.Variable(tf. random normal ([784, 200], stddev-0. 35) 
name-"^weights") 

biases = tf. Variable (tf. zeros([200]), name-"biases") 

# Add an op to initialize the variables. 

init op - tf.initialize all variables 

4 Later, when launching the model 

with tf.Session() as sess: 

& Run the init operation. 


sess.run(init op) 


8 Use the model 


由 另 一 个 变量 初始 化 


























你 有 时 候 会 需要 用 另 一 个 变量 的 初始 化 值 给 当前 变量 初始 化 。 由 于 tf. initialize all variables() 是 并 行 地 初始 
化 所 有 变量 ， 所 以 在 有 这 种 需求 的 情况 下 需要 小 心 。 























Ir 
T 




















生 。 你 可 以 直接 把 已 初始 化 的 外 


— 
n 


用 其 它 变量 的 值 初始 化 一 个 新 的 变量 时 ， 使 用 其 它 变 量 的 initialized valueO 属 
作为 新 变量 的 初始 值 ， 或 者 把 它 当 做 tensor 计 算得 到 一 个 值 赋予 新 变量 。 














加 





8 Create a variable with a random value 
weights = tf. Variable (tf. random normal ([784, 200], stddev-0. 35) 
name-^ weights") 


# Create another variable with the same value as 'weights'. 


2 = tf. Variable (weights. initialized value(), name-^w2^) 
& Create another variable with twice the value of 'weights' 


w twice = tf. Variable (weights. initialized value() * 0.2, name-^w twice") 
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自 定义 初始 化 





tf.initialize all variables O 函数 便捷 地 添加 一 个 op 来 初始 化 模型 的 所 有 变 


行 初始 化 。 详 情 请 见 [Variables Documentationhref-"https 


ob/master/api docs/python/state ops.md^), ， 包 括 检查 变量 是 





| 保存 和 加 载 























单 的 保存 和 恢复 


gcn] E 




































































模型 的 方法 是 使 用 tf.train.Saver 对 象 。 
变量 ， 添 加 save 和 restore ops。saver 对 象 提供 了 方法 来 运 
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EL 
EH o 

















你 也 可 以 给 它 传 入 一 组 变量 进 











://github. com/ jikexueyuanwiki /tensorflow-zh/bl 


Ei 


否 被 初始 化 。 


E 
里 ， 


构造 器 给 graph 的 所 有 变量 ， 或 是 定义 在 列表 里 的 
行 这些 ops， 定 义 检 查 点 文件 的 读 写 路 径 。 














检查 点 文件 
变量 存储 在 二 进 制 文件 里 ， 主 要 包含 从 变量 名 到 tensor 值 的 映射 关系 。 
当 你 创建 一 个 Saver 对 象 时 ， 你 可 以 选择 性 地 为 检查 点 文件 中 的 变 

















iable.name href-^https://github. com/ jikexueyuanwiki/te 
e ops. md”) 属性 的 值 。 


保存 变量 














用 tf.train.Saver() 创建 一 个 Saver 来 管理 


Create Some variables. 


大 三 Vi DIS t Dae v) 
WB 三 二 可) 
# Add an op to initialize the variables. 


init op - tf.initialize all variables) 
# Add ops to save and restore all the variables. 
saver = tf. train. Saver () 


H 


€ Later, launch the model, initialize the variables, 


8 variables to disk. 
with tf.Session() as sess: 
sess.run(init op) 


4 Do some work with the model. 


8 Save the variables to disk. 
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量 挑选 变量 名 。 默 认 情况 下 ， 将 每 个 变量 [ Var 














do some work, 


nsorflow-zh/blob/master/api docs/python/stat 


型 中 的 所 有 变量 。 


Save the 


00000 


save path = saver.save(sess, "/tmp/model. ckpt^) 
print "Model saved in file: ^, save path 








! 

















用 同一 个 Saver 对 象 来 恢复 变量 。 


uni 








8 Create some variables. 


wil = ti Variable kes, mem wl) 
v2 - tf.Variable(..., name-^v2^) 


# Add ops to save and restore all the variables. 
saver - tf. train. Saver () 
€ Later, launch the model, use the saver to restore variables from disk, and 
4 do some work with the model. 
with tf.Session() as sess: 
4 Restore variables from disk. 
saver. restore (sess, "/tmp/model. ckpt 


print “Model restored. ” 
# Do some work with the model 


选择 存储 和 恢复 哪些 变量 


注意 ， 当 你 从 文件 中 恢复 变量 时 ， 不 需要 事先 对 它们 做 初始 化 。 
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Ivan 
4 








如 果 你 不 给 tf. train. Saver) 传 入 任何 参数 ， 那 么 saver 将 处 理 graph 中 的 所 有 变量 
IHE AIL e 














有 时 候 在 检查 点 文件 中 明确 定义 变量 的 名 称 很 有 用 。 举 个 例子 ， 你 也 许 已 经 训练 得 到 了 一 个 模型 ， 其 中 有 个 变量 





























命名 为 “weights”， 你 想 把 它 的 值 恢复 到 一 个 新 的 变量 “params” 中 。 





























IN 








个 变量 都 以 变量 创 


tI 








有 时 候 仅 保存 和 恢复 模型 的 一 部 分 变量 很 有 用 。 再 举 个 例子 ， 你 也 许 训练 得 到 了 一 个 5 层 神经 网 络 ， 现 在 想 训 练 一 














O 








个 6 层 的 新 模型 ， 可 以 将 之 前 5 层 模型 的 参数 导入 到 新 模型 的 前 5 层 中 。 








你 可 以 通过 给 tf. train. Saver O. 构造 函数 传 入 Python 字 典 ， 很 容易 地 定义 需要 保持 的 变量 及 对 应 名 称 : 键 对 应 使 


用 的 名 称 ， 值 对 应 被 管理 的 变量 。 





T 
YER: 























。 如 果 需 要 保存 和 恢复 模型 变量 的 不 同 子 集 ， 可 以 创建 任意 多 个 saver 对 象 。 同 一 个 变量 可 被 列 入 多 个 saver 对 























象 中 ， 只 有 当 saver 的 restore) 函数 被 运行 时 ， 它 的 值 才 会 发 生 改 变 。 
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。 如 果 你 仅 在 session 开 始 时 恢复 模型 变量 的 一 个 子 集 ， 你 需要 对 剩 下 的 变量 执行 初始 化 cp。 详情 请 见 [ tf. init 








ialize variables() href-"https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/api docs/p 


ython/state ops. md”)。 
8 Create some variables. 


vl - tf.Variable(..., name-^vl^) 
vA = E Wewenelle C, s... mem v2) 


# Add ops to save and restore only 'v2' using the name “my v2^ 


saver - tf.train.Saver((^my v2": v2]) 
# Use the saver object normally after that. 


原文 链接 : http://tensorflow.org/how tos/variables/index.html 翻译 : BIZE 校对 : Wiki 
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TensorBoard: 可 视 化 学 习 





TensorBoard 涉及 到 的 运算 ,通常 是 在 训练 庞大 的 深度 神经 网 络 中 出 现 的 复杂 而 又 难以 理解 的 运算 。 





为 了 更 方便 TensorFlow 程序 的 理解 、 调 试 与 优化 ， 我 们 发 布 了 一 套 叫 做 TensorBoard 的 可 视 化 工具 。 你 可 以 用 
TensorBoard 来 展现 你 的 TensorFlow 图 像 ， 绘 制图 像 生成 的 定量 指标 图 以 及 附加 数据 。 








当 TensorBoard 设置 完成 后 ， 它 应 该 是 这 样子 的 : 














TensorBoard EVENTS IMAGES GRAPH HISTOGRAMS 
input new regex ua. xentropy a) 
Split On Underscores: ®'g xentropy. 
X Type: 220 十 一 一 
RELATIVE WALL — 
1.40 二 
Selected Runs: ue 
data 0.600 | 
0.200 ~ 
L2 0.000 400.0 800.0 1.200k 1.600k 





图 片 3.1 MNIST TensorBoard 


| 数据 序列 化 


TensorBoard 通过 读 取 TensorFlow 的 事件 文件 来 运行 。TensorFlow 的 事件 文件 包括 了 你 会 在 TensorFlow 运行 
中 涉及 到 的 主要 数据 。 下 面 是 TensorBoard 中 汇总 数据 (Summary data) 的 大 体 生命 周期 。 


























首先 ， 创 建 你 想 汇总 数据 的 TensorFlow 图 ， 然 后 再 选择 你 想 在 哪个 节点 进行 汇总 (summary) RE 

















比如 ， 假 设 你 正在 训练 一 个 卷 积 神经 网 络 ， 用 于 识别 MNISt 标签 。 你 可 能 希望 记录 学 习 速 度 (learning rate) 的 
如 何 变化 ， 以 及 目标 函数 如 何 变化 。 通 过 向 节点 附加 scalar_summary 操 作 来 分 别 输出 学 习 速度 和 期 望 误 差 。 然 后 


你 可 以 给 每 个 scalary summary 分 配 一 个 有 意义 的 标签 ， 比 如 "learning rate 和 ’ loss function o 
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或 者 你 还 希望 显示 一 个 特殊 层 中 激活 的 分 布 ， 或 者 梯度 权重 的 分 布 。 可 以 通过 分 别 附加 his 
来 收集 权重 变量 和 梯度 输出 。 






































所 有 可 用 的 summary 操作 详细 信息 ， 可 以 查看 summary operation 文 档 。 














在 TensorFlow 中 ， 所 有 的 操作 只 有 当 你 执行 ， 或 者 另 一 个 操作 依赖 于 它 的 输出 时 才 会 运行 
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运算 


。 我 们 刚才 创建 的 这 些 


























要 运行 所 有 这 些 节点 。 这 样 的 手动 工作 是 很 乏味 的 ， 因 此 可 以 使 用 tf. merge all summaries 
操作 。 
































节点 (summary nodes) 都 围绕 着 你 的 图 像 : 没有 任何 操作 依赖 于 它们 的 结果 。 因 此 ， 为 了 生成 汇总 信息 ， 我 们 需 














Jiii 


来 将 他 们 合并 为 一 个 





然后 你 可 以 执行 合并 命令 ， 它 会 依据 特点 步骤 将 所 有 数据 生成 一 个 序列 化 的 Summary protobuf 对 象 。 最 后 ， 为 了 

















将 汇总 数据 写 入 磁盘 ， 需 要 将 汇总 的 protobuf 对 象 传 递 给 tf. train. Summarywriter。 








SummaryWriter 的 构造 函数 中 包含 了 参数 logdir。 这 个 logdir 非常 重要 ， 所 有 事件 都 会 














写 到 它 所 指 的 目录 





下 。 此 外 ， SummaryWriter 中 还 包含 了 一 个 可 选择 的 参数 GraphDef 。 如 果 输 入 了 该 参数 ， 那 么 TensorBoard 








也 会 显示 你 的 图 像 。 





























现在 已 经 修改 了 你 的 图 ， 也 有 了 ”SummaryWriter ， 现 在 就 可 以 运行 你 的 神经 网 络 了 ! 如 果 你 愿意 的 话 ， 你 可 以 每 





























- 步 执行 一 次 合并 汇总 ， 这 样 你 会 得 到 一 大 堆 训 练 数据 。 这 很 有 可 能 超过 了 你 想 要 的 数据 量 。 
执行 一 次 合并 汇总 ， 或 者 如 下 面 代码 里 示范 的 这 样 。 
































merged summary op = tf.merge all summaries () 
summary writer = tf. train. SummaryWriter(  /tmp/mnist logs', sess. graph) 
total step - 0 
while training: 
total step += 1 
session.run(training op) 
if total step * 100 == 0: 
summary str - session.run(merged summary op) 
summary writer. add summary (summary str, total step) 





现在 已 经 准备 好 用 TensorBoard 来 可 视 化 这 些 数据 了 。 





启动 TensorBoard 


输入 下 面 的 指令 来 启动 TensorBoard 


python tensorflow/tensorboard/tensorboard.py --logdir-path/to/log-directory 





你 也 可 以 每 一 百 














步 


这 里 的 参数 logdir 指向 SummaryWriter 序列 化 数据 的 存储 路 径 。 如 果 logdir 目录 的 子 目录 中 包含 另 一 次 运 








行 时 的 数据 ， 那 么 TensorBoard 会 展示 所 有 运行 的 数据 。 一 旦 TensorBoard 开始 运行 ， 你 
输入 localhost:6006 来 查看 TensorBoard. 

















可 以 通过 在 浏览 器 





如 果 你 已 经 通过 pip 安 装 了 TensorBoard， 你 可 以 通过 执行 更 为 简单 地 命令 来 访问 TensorBoard 
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tensorboard --logdir-/path/to/log-directory 








组 可 视 化 的 序列 化 数据 集 





进入 TensorBoard 的 界面 时 ， 你 会 在 右上 角 看 到 导航 选项 卡 ， 个 选项 卡 将 展现 
。 对 于 你 查看 的 每 一 个 选项 卡 ， 如 果 TensorBoard 中 没有 数据 与 这 个 选项 卡 相 关 的 话 ， 则 会 显示 一 条 提示 信息 指 


示 你 如 何 序列 化 相关 数据 。 


















































像 的 信息 。 参 见 TensorBoard: 图 表 可 视 化 


























更 多 更 详细 的 关于 如 何 使 用 graph 选项 来 显示 你 的 图 














原文 地 址 : TensorBoard:Visualizing Learning 翻译 : thylacoleo 校对 ; lucky521 


ww ai bbt. com [1 D DD U U UI 


TensorBoard: 图 表 可 视 化 




















TensorFlow 图 表 计 算 强大 而 又 复杂 ， 图 表 可 视 化 在 理解 和 调试 时 显得 非常 有 帮助 。 下 面 是 一 个 运作 时 的 可 式 化 
例子 。 





一 个 TensorFlow 图 表 的 可 视 化 
图 片 3.2 一 个 TensorFlow 图 表 的 可 视 化 











“一 个 TensorFlow 图 表 的 可 视 化 “) 一 个 TensorFlow 图 表 的 可 视 化 。 

















为 了 显示 自己 的 图 表 ， 需 将 TensorBoard 指向 此 工作 的 日 志 目 录 并 运行 ， 点 击 图 表 顶 部 窗 格 的 标签 页 ， 然 后 在 左 
上 角 的 菜单 中 选择 合适 的 运行 。 想 要 深入 学 习 关 于 如 何 运 行 TensorBoard 以 及 如 何 保证 所 有 必要 信息 被 记录 下 
来 ， 请 查看 Summaries 和 TensorBoard. 

























































































| 名 称 域 (Name scoping) 和 节点 (Node) 



































典型 的 TensorFlow 可 以 有 数 以 千 计 的 节点 ， 如 此 多 而 难以 一 下 全 部 看 到 ， 甚 至 无 法 使 用 标准 图 表 工 具 来 展 
示 。 为 简单 起 见 ， 我 们 为 变量 名 划 定 范围 ， 并 且 可 视 化 把 该 信息 用 于 在 图 表 中 的 节点 上 定义 一 个 层级 。 默 认 情 况 
T. 只 有 顶层 节点 会 显示 。 下 面 这 个 例子 使 用 tf. name_scope 在 hidden 命名 域 下 定义 了 三 个 操作 : 


























































































































import tensorflow as tf 


with tf.name scope( hidden’) as scope: 

f. constant (5, name= alpha’ ) 

f. Variable(tf.random uniform([1, 2], -1.0, 1.0), name-' weights') 
f. Variable(tf. zeros([1]), name-'biases') 





c mo 
Dp S 
et oc c 





i 
?H 
pu 
a 


导 到 了 下 面 三 个 操作 名 : 














。 hidden/alpha 
。 hidden/weights 


。 hidden/biases 









































默认 地 ， 三 个 操作 名 会 折 县 为 一 个 节点 并 标注 为 hidden 。 其 额外 细节 并 没有 丢失 ， 你 可 以 双击 ， 或 点 击 右上 方术 


色 的 + 来 展开 节点 ， 然 后 就 会 看 到 三 个 子 节点 alpha, weights 和 biases 了 。 





























这 有 一 个 生动 的 例子 ， 例 中 有 一 个 更 复杂 的 节点 ， 节 点 处 于 其 初始 和 展开 状态 。 
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图 片 3. 3 未 展开 的 名 称 域 





顶级 名 称 域 的 初始 视图 pool 1, rut EX 























的 + 按钮 或 双击 节点 来 展 


qos . m Histogra... 
a Equal[1-... 


control dependency 


CheckNumerics 








C 
图 片 3.4 展开 的 名 称 域 














[B 


展开 的 pool 1 ZARAR, ARA bEXZHRRCAGU 一 du 
钮 或 双击 节点 来 收 起 此 名 称 域 。 
































通过 名 称 域 把 节点 分 组 来 得 到 可 读 性 高 的 图 表 很 关键 的 。 如 果 你 在 构建 一 个 模型 ， 名 称 域 就 可 以 用 来 控制 可 视 化 
ai 


结果 。 你 的 名 称 域 越 好 ， 可 视 性 就 越 好 。 














上 面 的 图 像 例子 说 明了 可 视 化 的 另 一 方面 ， TensorFlow 图 表 有 两 种 连接 关系 : 数据 依赖 和 控制 依赖 。 数 据 依赖 




















显示 两 个 操作 之 间 的 tensor 流 程 ， 用 实心 箭头 指示 ， 而 控制 依赖 用 点 线 表 示 。 在 已 展开 的 视图 (上 面 的 右 





图 ) 中 ， 除 了 用 点 线 连接 的 CheckNumeric 








还 有 一 种 手段 用 来 简化 布局 。 大 多 数 Te 





s 和 control dependency 之 外 ， 所 有 连接 都 是 数据 依赖 的 。 














nsorFlow 图 表 有 一 部 分 节点 ， 这 部 分 节点 和 其 他 节点 之 间 有 很 多 连 





接 。 比 如 ， 许 多 节点 在 初始 化 阶段 可 能 会 有 一 个 控制 依赖 ， 而 绘制 所 有 init 节点 的 边缘 和 其 依赖 可 能 会 创造 出 一 











个 混乱 的 视图 。 








为 了 减少 混乱 ， 可 视 化 把 所 有 high-degree 节点 分 离 到 右边 的 一 个 从 属 区 域 ， 而 不 会 绘制 线条 来 表示 他 们 的 边 














剖 了 小 节点 属 奈 来 指示 这 些 连接 关系 。 分 离 出 从 属 节点 通常 不 会 把 关键 信 





缘 。 线 条 也 不 用 来 表示 连接 了 ， 我 们 绘 








息 删 除 掉 ， 因 为 这 些 节 点 和 内 构 功 能 是 相关 的 。 
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— —— BEES 
conv Z XX - 
图 片 3.5 conv 1 是 主 图 表 的 部 分 head 7:77:24] 

... 12 more H 








图 片 3.6 save 被 抽出 为 从 属 节 点 








LI 


节点 conv l 被 连接 到 save ， 注 意 其 右边 save 节 save has a high degree， 并 会 作为 从 属 节点 出 
点 图 标 。 现 ， 与 conv l 的 连接 作为 一 个 节点 图 标 显 示 在 其 左 
边 。 为 了 继续 减少 杂乱 ， 既 然 save 有 很 多 连接 ， 我 们 
则 只 显示 前 5 个 ， 而 把 其 余 的 缩 略 为 ... 12 more. 

































































最 后 一 个 结构 上 的 简化 法 叫做 序列 折 爱 (series collapsing) 。 序列 基 序 (Sequential motifs) 是 拥有 相同 结 
构 并 且 其 名 称 结尾 的 数字 不 同 的 节点 ， 它 们 被 折 著 进 一 个 单独 的 节点 块 (stack) 中 。 对 长 序列 网 络 来 说 ， 序 列 折 
BRK H fi Lb 了 视图 ， 对 于 VEHI IH RG 双击 会 展开 序列 。 
























































range[1-8] 


delta O— delta O—K 5— Sum[1-7] delta O— 
Rank[1-8... Rank[1-8... Rank[18... 


图 片 3.7 节点 序列 图 片 3.8 展开 的 节点 序列 











一 个 节点 序列 的 折 受 视图 。 视图 的 一 小 块 ， 双 击 后 展开 。 


























最 后 ， 针 对 易 读 性 的 最 后 一 点 要 说 到 的 是 ， 可 视 化 为 常 节 点 和 摘要 节点 使 用 了 特别 的 图 标 ， 总 结 起 来 有 下 面 这 些 


节点 符号 : 


符号 意义 
High-level 节 点 代表 一 个 名 称 域 ， 双 击 则 展开 一 个 高 层 节 点 。 


图 片 3.9 名 称 域 
彼此 之 间 不 连接 的 有 限 个 节点 序列 。 
图 片 3.10 断 线 节 点 序列 


彼此 之 间 相 连 的 有 限 个 节点 序列 。 
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. 11 相连 节点 序列 


.12 操作 节点 





.15 数据 流 边 

















一 个 单独 的 操作 节点 。 








一 个 摘要 节点 。 


显示 各 操作 间 的 数据 流 边 。 


显示 各 操作 间 的 控制 依赖 边 。 
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图 片 3.16 控制 依赖 边 
引用 边 ， 表 示 出 度 操作 节点 可 以 使 入 度 tensor 发 生变 化 。 
图 片 3.17 引用 边 
交互 
通过 平移 和 缩放 来 导航 图 表 ， 点 击 和 拖 动用 于 平移 ， 滚 动手 势 用 于 缩放 。 双 击 一 个 节点 或 点 击 其 + 按钮 来 展开 代 
表 一 组 操作 的 名 称 域 。 右 下 角 有 一 个 小 地 图 可 以 在 缩放 和 平移 时 方便 的 改变 当前 视角 。 
6 一 次 来 选中 一 个 节点 ， 节 点 的 颜色 会 加 


vx 


























URS 


H. 
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要 关闭 一 个 打开 的 节点 ， 再 次 双击 它 或 点 击 它 的 - 按钮 ， 你 也 可 以 只 点 
并 且 会 看 到 贡 点 的 详情 ， 其 连接 到 的 节点 会 在 可 视 化 右上 角 的 详情 卡片 显现 。 











conv2 


Subgraph: 22 nodes 


Attributes (0) 


Inputs (1) 
norm1 

Outputs (6) 
norm2 


gradients 
GradientDescent 
ExponentialMovingAverage 


save 


^ Control dependencies 


init 


4 


< b 


图 片 3. 18 一 个 名 称 域 的 详情 卡片 





详情 卡片 展示 conv2 名 称 域 的 详细 信息 ， 名 称 域 中 操 


作 三 点 的 输入 和 输 
的 名 称 域 。 











被 结合 在 一 起 ， 适 用 于 不 显示 属性 


DecodeRaw ^ 
Operation: DecodeRaw 
Attributes (2) 
little endian ("b":true) a 
outtype — ('type""DT UINT8") M 
Device /gpu:0 
Inputs (1) 
ReaderRead T 
Outputs (2) 
Slice ^ 
Slice. 1 " 


图 片 3.19 操作 节点 的 详情 卡片 


详情 卡片 展示 DecodeRaw 操作 节点 ， 除 了 输入 和 输 
出 ， 卡 片 也 会 展示 与 当前 节点 相关 的 设备 和 属性 。 














选择 对 于 high-degree 节点 的 理解 也 很 有 帮助 ， 选 择 任意 节点 ， 则 与 它 的 其 余 连 接 相应 的 节点 也 会 选中 ， 这 使 得 














在 进行 例如 查看 哪 











个 节点 是 否 已 保存 等 操作 时 非常 容易 。 





点 击 详情 卡片 中 的 

















个 节点 名 称 时 会 选中 该 节点 ， 必 要 的 话 ， 视 角 会 自动 平移 以 使 该 节点 可 见 。 














最 后 ， 使 用 图 例 上 方 的 颜色 菜单 ， 你 可 以 给 你 的 图 表 选 择 两 个 颜色 方案 。 默 认 的 结构 视图 下 ， 当 两 个 high-level 




















节点 颜色 一 样 时 ， 其 会 以 相同 的 彩虹 色 
作 运行 于 什么 设备 之 上 。 名 称 域 被 恰当 

















下 图 是 一 张 真实 图 表 的 图 解 : 














彩 出 现 ， 而 结构 唯一 的 节点 颜色 是 灰色 。 还 有 一 个 视图 则 展示 了 不 同 的 操 


KIH 

















民 据 其 中 的 操作 节点 的 设备 片 件 来 着 色 。 
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一 一 = Em — = COD | m oasen. 
图 片 3.20 按 结 构 着 色 图 片 3. 21 按 设备 着 色 





结构 视图 灰色 节点 的 结构 是 唯一 的 。 柳 色 的 convl “设备 视图 ， 名 称 域 根据 其 中 的 操作 节点 的 设备 片 件 来 着 
和 conv2 节点 有 相同 的 结构 ， 其 他 颜色 的 节点 也 类 。 色 ， 在 此 紫色 代表 GPU， 绿 色 代表 CPU。 
似 。 


原文 : TensorBoard: Graph Visualization (页 0) 翻译 : GWarln 校对 : lucky521 
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数据 读 取 








TensorFlow 程 序 读 取 数据 一 共有 3 种 方法 : 











。 供给 数据 (Feeding): ”在 TensorFlow 程 序 运行 的 每 一 步 ， 让 Python 代码 来 供给 数据 。 





。 从 文件 读 取 数 据 : 在 TensorFlow 图 的 起 始 ， 让 一 个 输入 管线 从 文件 中 读 取 数据 。 











。 预 加 载 数据 : 在 TensorFlow 图 中 定义 常量 或 变量 来 保存 所 有 数据 ( 仅 适用 于 数据 量 比 较 小 的 情况 ) 。 























| 目录 
数据 读 取 (页 6) 


。 供给 数据 (Feeding) (页 109) 


。 从 文件 读 取 数 据 (页 110) 








。 文件 名 ， 乱 序 (shuffling)， 和 最 大 训练 迭代 数 (epoch limits) (页 110) 





。 文件 格式 (页 111) 


* 预 处 理 (页 112) 





。 批 处 理 (页 112) 








* 使 用 QueueRunner 创建 预 读 线程 (页 114) 














。 对 记录 进行 过 滤 或 者 为 每 个 纪录 创建 多 个 样本 (页 116) 





。 序列 化 输入 数据 (Sparse input data) (页 116) 


。 预 加 载 数据 (页 116) 





。 多 管线 输入 (页 117) 
| 供给 数据 


TensorFlow 的 数据 供给 机 制 允 许 你 在 TensorFlow 运 算 图 中 将 数据 注入 到 任 一 张 量 中 。 因 此 ，python 运 算 可 以 把 数 
据 直 接 设置 到 TensorFlow 图 中 。 






































通过 给 run () 或 者 eval O 函数 输入 feed dict 参数 ， 可 以 启动 运算 过 程 。 
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with tf.Session(: 
input - tf. placeholder (tf. f10at32) 
classifier = ... 
print classifier. eval (feed dict-(input: my python preprocessing fn()]) 











蜂 然 你 可 以 使 用 常量 和 变量 来 替换 任何 一 个 张 量 ， 但 是 最 好 的 做 法 应 该 是 使 用 placeholder op 节点 。 设 计 place 
holder 节点 的 唯一 的 意图 就 是 为 了 提供 数据 供给 (feeding) 的 方法 。 placeholder 节点 被 声明 的 时 候 是 未 初始 化 
的 ， 也 不 包含 数据 ， 如 果 没 有 为 它 供给 数据 ， 则 TensorFlow 运 算 的 时 候 会 产生 错误 ， 所 以 千 万 不 要 起 了 为 pl 


aceholder 提供 数据 。 


















































可 以 在 [ tensorflow/g3doc/tutorials/mnist/fully connected feed. py href-"https://tensorflow. googlesourc 








e. com/tensorflow/+/master/tensorflow/g3doc/tutorials/mnist/fully connected feed. py) 找 到 使 用 placehol 


der 和 MNIST 训 练 的 例子 ，MNIST tutorial 也 讲述 了 这 一 例子 。 


从 文件 读 取 数 据 














- 共 典 型 的 文件 读 取 管线 会 包含 下 面 这 些 步 又 : 








1. 文件 名 列表 


2. 可 配置 的 文件 名 乱 序 (shuffling) 





3. 可 配置 的 最 大 训练 迭代 数 (epoch limit) 





4. 文件 名 队列 


5. 针对 输入 文件 格式 的 阅读 器 





6. 纪录 解析 器 
7. 可 配置 的 预 处 理 器 
8. 样本 队列 





XIF, ALF (shuffling), MEKYS (epoch limits) 








ERZEKE (Em ["fileo^, "filel^] , [(“file%d” % i) for i in range(2)] , — [(file*d" % i) for 
iin range(2)] ) 或 者 tf. train. match filenames once 函数 来 产生 文件 名 列表 。 














将 文件 名 列表 交 给 tf. train. string input producer PŽ. string input producer 来 生成 一 个 先入 先 出 的 队列 ， 


文件 阅读 器 会 需要 它 来 读 取 数据 。 
































string input producer 提供 的 可 配置 参数 来 设置 文件 名 乱 序 和 最 大 的 训练 迭代 数 ， QueueRunner Z7 f iUas 
代 (epoch) 将 所 有 的 文件 名 加 入 文件 名 队列 中 ， 如 果 shuffle=True 的 话 ， 会 对 文件 名 进行 乱 序 处 理 。 这 一 过 程 
是 比较 均匀 的 ， 因 此 它 可 以 产生 均衡 的 文件 名 队列 。 
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这 个 QueueRunner 的 工作 线程 是 独立 于 文件 阅读 器 的 线程 ， 因此 乱 序 和 将 文件 名 推 入 到 文件 名 队列 这 些 过 程 不 会 
































阻塞 文件 阅读 器 运行 。 


文件 格式 























根据 你 的 文件 格式 ， 选择 对 应 的 文件 阅读 器 ， 然后 将 文件 名 队列 提供 给 阅读 器 的 read 方法 。 阅 读 器 的 read 方 












































并 日 构造 成 为 样本 。 





标量 可 以 被 一 个 或 多 个 解析 器 ， 或 者 转换 操作 将 其 解码 为 张 上 


wil 

















CSV 文件 




















从 CSV 文 件 中 读 取 数据 ， 需要 使 用 TextLineReader 和 decode csv 操作 ， 如 下 面 的 例子 所 示 : 











filename queue - tf.train.string input producer(["file0.csv^, ^filel.csv"]) 


reader = tf. TextLineReader () 
key, value - reader. read(filename queue) 


4 Default values, in case of empty columns. Also specifies the type of the 
8 decoded result. 


record defaults - [[1], [1], [1], [1], [11] 

coll, col2, col3, col4, l5 = tf.decode csv( 
value, record defaults-record defaults) 

features - tf.concat(0, [coll, col2, col3, col4]) 


with tf.Session() as sess: 
8 Start populating the filename queue. 
coord = tf. train. Coordinator () 
threads = tf.train.start queue runners (coord-coord) 


for i in range(1200) : 
# Retrieve a single instance: 
example, label - sess.run([features, col5]) 


coord. request stop() 
coord. join(threads) 


Hr 





法 会 输出 一 个 key 来 表征 输入 的 文件 和 其 中 的 纪录 Op T EE HD so FTIIT RR S 


^x^ 时 


这 个 字符 串 





每 次 read 的 执行 都 会 从 文件 中 读 取 一 行内 容 ， decode_csv 操作 会 解析 这 一 行内 容 并 将 其 转 为 张 量 列 表 。 如 果 











和 险 入 的 参数 有 缺失 ， record default 参数 可 以 根据 张 量 的 类 型 来 设置 默认 值 。 
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列 。 和 否则 read 操作 会 被 阻塞 到 文件 名 队列 中 有 值 为 止 。 


固定 长 度 的 记录 











从 二 进 制 文件 中 读 取 固定 长 度 纪录 ， 可 以 使 用 tf. FixedLengthRecordReader 的 tf. decode raw 操作 。 























w 操作 可 以 讲 一 个 字符 串 转 换 为 一 个 uint8 的 张 量 。 
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在 调用 run 或 者 eval 去 执行 read 之 前 ， 你 必须 调用 tf. train. start queue runners 来 将 文件 名 填充 到 队 


decode Ta 


举例 来 说 ，[the CI 








FAR-10 datasethref-"http://www. cs. toronto. edu/ kriz/cifar. html) ff] xf] 


格式 定 义 



























































是 : 每 条 记录 的 长 度 都 是 固定 的 ， 一 个 字 节 的 标签 ， 后 面 是 3072 字 节 的 图 像 数 据 。uint8 的 张 量 的 标准 操作 就 可 以 
从 中 获取 图 像 片 并 且 根 据 需 要 进行 重组 。 例子 代码 可 以 在 tensorflow/models/image/cifarlO0/cifarlO input.py $È 



































到 ， 具 体 讲述 可 参见 教程. 











标准 TensorFlow 格 式 
另 一 种 保存 记录 的 方法 可 以 允许 你 讲 任意 的 数据 转换 为 TensorFlow 所 文 持 的 格式 ， 这 种 方法 可 
数据 集 更 容易 与 网 络 应 用 架构 相 匹配 。 这 种 建议 的 方法 就 是 使 用 TFRecords 文 件 ，TFRecords 文 从 




















n. Example 协议 内 存 块 (protocol buffer) (协议 内 存 块 包含 了 字段 [ Features href= https:// 
esource. com/tensorflow/-/master/tensorflow/core/example/feature.proto)). 。 你 可 以 写 一 
据 ， 
f. python io. TFRecordWriter class 写 入 到 TFRecords 文 件 。 


o records. py 就 是 这 样 的 一 个 例子 。 












































将 数据 填 入 到 Example 协议 内 存 块 (protocol buffer) ， 将 协议 内 存 块 序列 化 为 一 个 字符 串 ， 并 日 通 


tensorflow/g3doc/how tos/reading 





以 使 TensorFlow 的 
FB T tf.trai 
tensorflow. googl 


段 代码 获取 你 的 数 
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xtt 








data/convert t 








从 TFRecords 文 件 中 读 取 数据 ， 可 以 使 用 tf. TFRecordReader 的 tf. parse single example 解析 器 。 这 个 parse si 
ngle example 操作 可 以 将 Example 协议 内 存 块 (protocol buffer) 解 析 为 张 量 。 MNIST 的 例子 就 使 用 了 convert t 
o records 所 构建 的 数据 。 请 参看 tensorflow/g3doc/how tos/reading data/fully connected reader.py ， 您 也 

可 以 将 这 个 例子 跟 fully connected feed 的 版 本 加 以 比较 。 

预 处 理 

你 可 以 对 输入 的 样本 进行 任意 的 预 处 理 ， 这 些 预 处 理 不 依赖 于 训练 参数 ， 你 可 以 在 tensorflow/models/image/ci 
farl0/cifar10. py 找到 数据 归 一 化 ， 提取 随机 数据 片 ， 增 加 噪声 或 失真 等 等 预 处 理 的 例子 。 








批 处 理 
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在 数据 输入 管线 的 末端 ， 我 们 有 另 一 个 队列 来 执行 输入 村 
huffle batch 函数 来 对 队列 中 的 样本 进行 乱 序 处 理 


本 的 训练 ， 评 价 和 
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示例 : 


def read my file format (filename queue): 
reader = tf. SomeReader () 
key, record string = reader.read(filename queue) 
example, label = tf. some decoder(record string) 
processed example = some processing (example) 
return processed example, label 


def input pipeline(filenames, batch size, num epochs-None): 
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EH. REREH tf. train. s 


i 运作 方式 


filename queue = tf.train.string input producer( 

filenames, num epochs-num epochs, shuffle-True) 

example, label - read my file format(filename queue) 

8 min after dequeue defines how big a buffer we will randomly sample 


# from — bigger means better shuffling but slower start up and more 





4 memory used 
8 capacity must be larger than min after dequeue and the amount larger 
4 determines the maximum we will prefetch. Recommendation: 
# min after dequeue + (num threads + a small safety margin) * batch size 
min after dequeue - 10000 
capacity = min after dequeue + 3 * batch size 
example batch, label batch = tf. train. shuffle batch( 
[example, label], batch size-batch size, capacity-capacity 
min after dequeue-min after dequeue) 


return example batch, label batch 




















如 果 你 需要 对 不 同文 件 中 的 样子 有 更 强 的 乱 序 和 并 行 处 理 ， 可 以 使 用 tf. train. shuffle batch join 函数 .示例 : 














def read my file format (filename queue) : 


# Same as above 


def input pipeline(filenames, batch size, read threads, num epochs-None): 

filename queue - tf.train.string input producer( 

filenames, num epochs-num epochs, shuffle-True) 
example list = [read my file format(filename queue) 

for in range(read threads)] 

min after dequeue - 10000 
capacity = min after dequeue + 3 * batch size 
example batch, label batch = tf.train.shuffle batch join( 

example list, batch size-batch size, capacity-capacity 

min after dequeue-min after dequeue) 


return example batch, label batch 











在 这 个 例子 中 ， 你 虽然 只 使 用 了 一 个 文件 名 队列 ， 但 是 TensorFlow 依 然 能 保证 多 个 文件 阅读 器 从 同一 次 迭代 (ep 
och) 的 不 同文 件 中 读 取 数 据 ， 知 道 这 次 迭代 的 所 有 文件 都 被 开始 读 取 为 止 。 (通常 来 说 一 个 线程 来 对 文件 名 队列 
进行 填充 的 效率 是 足够 的 ) 






























































另 一 种 替代 方案 是 : 使 用 tf. train. shuffle batch 函数 , 设置 num threads 的 值 大 于 1。 这 种 方案 可 以 保证 同一 
时 刻 只 在 一 个 文件 中 进行 读 取 操 作 (但 是 读 取 速 度 依然 优 于 单线 程 ) ， 而 不 是 之 前 的 同时 读 取 多 个 文件 。 这 种 方案 
的 优点 是 : ck 避免 了 两 个 不 同 的 线程 从 同一 个 文件 中 读 取 同一 个 样本 。 * 避免 了 过 多 的 磁盘 搜索 操作 。 


































































































你 一 共 需 要 多 少 个 读 取 线程 呢 ? 函数 tf. train. shuffle batch* 为 TensorFlow 图 提供 了 获取 文件 名 队列 中 的 元 素 
个 数 之 和 的 方法 。 如 果 你 有 足够 多 的 读 取 线程 ， 文件 名 队列 中 的 元 素 个 数 之 和 应 该 一 直 是 一 个 略 高 于 0 的 数 。 有 具 
体 可 以 参考 TensorBoard: 可 视 化 学 习 . 
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创建 线程 并 使 用 QueueRunner 对 象 来 预 取 


























简单 来 说 : 使 用 上 面 列 出 的 许多 tf. train 
前 ， 需 要 调用 tf. train. start_ queue runners 图 数 ， 否 则 数据 流 








这 个 函数 将 会 启动 输入 管道 的 线程 ， 填 充 样本 到 队列 中 
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函数 添加 QueueRunner 到 你 的 数据 流 图 中 。 在 你 运行 任何 训练 步骤 之 
图 将 一 直 挂 起 。 


tf. train. start queue runners 








队 操 作 可 以 从 队列 中 拿 到 样本 。 








这 种 情况 下 最 好 


配合 使 用 一 个 tf. train. Coordinator ， 这 样 可 以 在 发 生 错 误 的 情况 下 正确 地 关闭 这 些 线程 。 如 果 你 对 训练 迭代 数 
































做 了 限 竺 





c 
— 


， 那 么 需要 


合用 一 个 训练 迭代 数 计 数 器 ， 








# Create the graph, etc. 


init op = tf.initialize all variables () 
8 Create a session for running operations in the Graph. 
sess = tf.Session() 


8 Initialize the variables (like the epoch counter). 


sess.run(init op) 
# Start input enqueue threads. 


coord - tf. train. Coordinator () 
threads - tf.train.start queue runners(sess-sess, coord-coord) 


CENE 
while not coord. should _ stop () : 
4 Run training steps or whatever 
sess.run(train op) 


except tf. errors. OutOfRangeError: 
print 'Done training — epoch limit reached' 
finally: 
4 When done, ask the threads to stop. 
coord. request stop() 
8 Wait for threads to finish 
coord. join(threads) 
sess. close() 


疑问 : 这 是 怎么 回 事 ? 
首先 ， 我 们 先 创 建 数据 流 图 ， 这 个 数据 流 
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并且 需要 被 初始 化 。 




















E 荐 的 代码 模板 如 下 : 
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成 文件 名 ， 我 们 读 取 这 些 文件 名 并 且 把 他 们 排 到 文件 名 队列 中 。 
生 样 本 ， 而 且 把 样本 放 在 一 个 样本 队列 中 。 根 据 你 的 设置 ， 实 












































际 








第 二 阶段 从 文件 























立 ， 这 样 就 可 以 从 多 个 文件 中 
出 队 。 因 为 我 


F 行 读 取 。 在 第 二 阶段 的 最 后 是 


门 是 要 开始 运行 这 些 入 队 操 作 的 线程 ， 所 以 我 们 


























ww ai bbt. com [1 [1 DL D U U UI 


VIEBABRE, w 
的 训练 循环 会 使 











ff 








F 本 队列 中 的 档 








一 些 流水 线 的 阶段 组 成 ， 阶 段 间 用 队列 连接 在 一 起 。 第 一 阶段 将 生 
P 读 取 数 据 (使 用 Reader ) ， 产 
上 也 可 以 拷贝 第 二 阶段 的 样本 ， 
LIE AL SUA FH 








使 得 他 们 相互 独 





去 ， 在 下 一 阶段 


本 不 断 地 出 队 。 
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. Filename Example 
Filenames Queue Queue 


enqueue many dequeue enqueue 














在 tf. train 中 要 创建 这 些 队 列 和 执行 入 队 操作 ， 就 要 添加 tf. train. QueueRunner. 到 一 个 使 用 tf. train. add queu 
e runner 函数 的 数据 流 图 中 。 每 个 QueueRunner 负责 一 个 阶段 ， 处 理 那些 需要 在 线程 中 运行 的 入 队 操作 的 列 

表 。 一 旦 数据 流 图 构造 成 功 ， tf. train. start queue runners 函数 就 会 要 求 数据 流 图 中 每 个 QueueRunner 去 开始 
它 的 线程 运行 入 队 操作 。 





















































如 果 一 切 顺利 的 话 ， 你 现在 可 以 执行 你 的 训练 步 又， 同时 队列 也 会 被 后 台 线 程 来 填充 。 如 果 您 设置 了 最 大 训练 迭 
代数 ， 在 某 些 时 候 ， 样 本 出 队 的 操作 可 能 会 得 到 一 个 tf. 0ut0fRangeError 的 错误 。 这 其 实 是 TensorFlow 的 “文件 
结束 ” (EOF) 这 就 意味 着 已 经 达到 了 最 大 训练 迭代 数 ， 已 经 没有 更 多 可 用 的 样本 了 。 







































































最 后 一 个 因素 是 Coordinator 。 这 是 负责 在 收 到 任何 关闭 信号 的 时 候 ， 让 所 有 的 线程 都 知道 。 最 常用 的 是 在 发 生 


异常 时 这 种 情况 就 会 呈现 出 来 ， 比 如 说 其 中 一 个 线程 在 运行 某 些 操作 时 出 现 错误 〈 或 一 个 普通 的 Python 异常 ) 。 




















H 











2 





想 要 了 解 更 多 的 关于 threading，queues，QueueRunners，and Coordinators 的 内 容 可 以 看 这 里 . 
疑问 : 在 达到 最 大 训练 迭代 数 的 时 候 如 何 清理 关闭 线程 ? 

想象 一 下 ， 你 有 一 个 模型 并 且 设 置 了 最 大 训练 迭代 数 。 这 意味 着 ， 生 成 文件 的 那个 线程 将 只 会 在 产生 0utOfRange 
并 误 之 前 运行 许多 次 。 该 QueueRunner 会 捕获 该 错误 ， 并 有 旦 关闭 文件 名 的 队列 ， 最 后 退出 线程 。 关 闭 队 列 做 了 两 
件 事 情 : 



























































。 如 果 还 试 着 对 文件 名 队列 执行 入 队 操 作 时 将 发 生 错误 。 任 何 线程 不 应 该 尝试 去 这 样 做 ， 但 是 当 队 列 因为 其 他 
错误 而 关闭 时 ， 这 就 会 有 用 了 。 























。 任何 当前 或 将 来 出 队 操作 要 么 成 功 〈 如 果 队 列 中 还 有 足够 的 元 素 ) 或 立即 失败 〈 发 生 OutOfRange 错误 ) "5 
们 不 会 防止 等 待 更 多 的 元 素 被 添加 到 队列 中 ， 因 为 上 面 的 一 点 已 经 保证 了 这 种 情况 不 会 发 生 。 


AL 





















































关键 是 ， 当 在 文件 名 队列 被 关闭 时 候 ， 有 可 能 还 有 许多 文件 名 在 该 队列 中 ， 这 样 下 一 阶段 的 流水 线 (包括 reader 
和 其 它 预 处 理 ) 还 可 以 继续 运行 一 段 时 间 。 一 旦 文件 名 队列 空 了 之 后 ， 如 果 后 面 的 流水 线 还 要 尝试 从 文件 名 队列 
中 取出 一 个 文件 名 例如， 从 一 个 已 经 处 理 完 文件 的 reader 中 ) ， 这 将 会 触发 OutOfRange 错误 。 在 这 种 情况 

下 ， 即 使 你 可 能 有 一 个 QueueRunner 关 联 着 多 个 线程 。 如 果 这 不 是 在 QueueRunner 中 的 最 后 那个 线程 ， OutOfRange 

错误 仅仅 只 会 使 得 一 个 线程 退出 。 这 使 得 其 他 那些 正 处 理 自己 的 最 后 一 个 文件 的 线程 继续 运行 ， 直 至 他 们 完成 为 

止 。 《但 如 果 假 设 你 使 用 的 是 tf. train. Coordinator ， 其 他 类 型 的 错误 将 导致 所 有 线程 停止 ) 。 一 旦 所 有 的 read 
er 线程 触发 OutOfRange 错误 ， 然 后 才 是 下 一 个 队列 ， 再 是 样本 队列 被 关闭 。 
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同样 ， 样 本 队列 中 会 有 一 些 已 经 入 队 的 元 素 ， 所 以 样本 训练 将 一 直 持续 直 到 样本 队列 中 再 没有 样本 为 止 。 如 果 样 
本 队列 是 一 个 RandomShuffleQueue ， 因 为 你 使 用 了 shuffle batch 或 者 shuffle batch join ， 所 以 通常 不 会 出 
现 以 往 那 种 队列 中 的 元 素 会 比 min after dequeue 定义 的 更 少 的 情况 。 然而 ， 一 旦 该 队列 被 关闭 ， min after de 
queue 设置 的 限定 值 将 失效 ， 最 终 队列 将 为 空 。 在 这 一 点 来 说 ， 当 实际 训练 线程 尝试 从 样本 队列 中 取出 数据 时 ， 将 
会 触发 0ut0fRange 错误 ， 然 后 训练 线程 会 退出 。 一 旦 所 有 的 培训 线程 完成 ， tf. train. Coordinator. join 会 返 
回 ， 你 就 可 以 正常 退出 了 。 

















筛选 记录 或 产生 每 个 记录 的 多 个 样本 








h 的 值 可 以 大 了 


t enqueue man 


c 























LUE MEE 


举 个 例子 ， 有 形式 为 
记录 (或许 不 需要 这 村 
1。 





的 设 

















LX, y, Z] 


E) 


的 样本 ， 我 们 可 


， 那 么 可 以 设 


L 























然后 很 简 


y=True 就 可 以 实现 。 


以 生成 一 批 形式 为 [batch, x, y, z] If 





EK. 


如 果 你 想 滤 除 这 个 








村 batch 的 大 小 为 0， 但 如 果 你 需要 每 个 记录 产生 多 个 检 




















单 ， 只 需 调 用 批 处 理 函数 《比如 








# 本， 那么 bat 





shuffle batch or shuffle batch join ) 去 设 





SparseTensors 这 种 数据 类 型 使 用 队列 来 处 理 不 是 太 好 。 如 果 要 使 用 SparseTensors 你 就 必须 在 批 处 理 之 后 使 用 t 


f. parse example 


| 预 取 数 据 


这 仅 用 于 可 以 完全 加 载 到 存储 器 9 


rd 


"m 


存储 在 





H 


数 中 。 





存储 在 变量 

















使 用 常数 更 简 : 
会 被 复 





n 


H 





判 几 次 ) 。 





去 解析 字符 














的 小 的 数据 








。 有 两 种 方法 : 


Fh， 初始 化 后 ， 永 远 不 要 改变 它 的 值 。 


training data = ... 
training labels - ... 





with t 


f. Session O : 





单一 些 ， 但 是 会 使 用 更 多 的 内 存 〈 因 为 常数 会 内 联 的 存储 在 数据 流 图 


input data - tf.constant(training data) 
input labels - tf.constant(training labels) 











要 改 为 使 用 变量 的 方式 ， 您 就 需要 在 


training data - ... 
training labels - ... 
with tf.Session() as sess: 


fü 








FE 数 据 流 图 














数据 结构 





串 记录 (而 不 是 在 批 处 理 之 前 使 用 tf.parse single example ) o 





EL 
EH o 


立 后 初始 化 这 个 变 
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F， 这 个 结构 体 可 能 


data initializer = tf.placeholder(dtype-training data. dtype, 
shape-training data. shape) 

label initializer = tf.placeholder(dtype-training labels. dtype, 

shape-training labels. shape) 

input data = tf.Variable(data initalizer, trainable-False, collections-[]l) 

input labels = tf.Variable(label initalizer, trainable-False, collections-[]) 


sess.run(input data. initializer, 

feed dict (data initializer: training datai) 
sess.run(input labels. initializer, 

feed dict-(label initializer: training lables]) 

















设 定 trainable-False 可 以 防止 该 变量 被 数据 流 图 的 “GraphKeys. TRAINABLE VARIABLES 收集， 这 样 我 们 就 不 会 在 
训练 的 时 候 尝试 更 新 它 的 值 ; 设 定 collections=[] 可 以 防止 GraphKeys. VARIABLES 收集 后 做 为 保存 和 恢复 的 


中 断 点 。 




















无 论 哪 种 方式 ， tf. train. slice input producer function 函数 可 以 被 用 来 每 次 产生 一 个 切片 。 这 样 就 会 让 样本 在 
整个 迭代 中 被 打 乱 ， 所 以 在 使 用 批 处 理 的 时 候 不 需要 再 次 打 乱 样本 。 所 以 我 们 不 使 用 shuffle batch 函数 ， 取 而 
代 之 的 是 纯 tf. train. batch 函数 。 如 果 要 使 用 多 个 线程 进行 预 处 理 ， 需 要 将 num_threads 参数 设置 为 大 于 1 的 数 
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To 




























































































在 tensorflow/g3doc/how tos/reading data/fully connected preloaded. py 中 可 以 找到 一 个 MNIST 例 子 ， 使 用 常数 
来 预 加载 。 另外 使 用 变量 来 预 加 载 的 例子 在 tensorflow/g3doc/how tos/reading data/fully connected preloade 
d var.py ， 你 可 以 用 上 面 fully connected feed 和 fully connected reader 的 描述 来 进行 比较 。 






































un 








通常 你 会 在 一 个 数据 集 上 面 训练 ， 然 后 在 男 外 一 个 数据 集 上 做 评估 计算 (或 称 为 “eval”)。 这 样 做 的 一 种 方法 
是 ， 实 际 上 包含 两 个 独立 的 进程 : 















































。 训练 过 程 中 读 取 输 入 数据 ， 并 定期 将 所 有 的 训练 的 变量 写 入 还 原点 文件 ) 。 





























。 在 计算 过 程 中 恢复 还 原点 文件 到 一 个 推理 模型 中 ， 读 取 有 效 的 输入 数据 。 





























这 两 个 进程 在 下 面 的 例子 中 已 经 完成 了 : the example CIFAR-10 mode1， 有 以 下 几 个 好 处 ; 
































。 eval 被 当做 训练 后 变量 的 一 个 简单 映射 。 





























。 你 甚至 可 以 在 训练 完成 和 退出 后 执行 eval。 























您 可 以 在 同一 个 进程 的 相同 的 数据 流 图 中 有 训练 和 eval， 并 分 享 他 们 的 训练 后 的 变量 。 参 考 the shared variable 


























s tutorial. 


原文 地 址 : [Reading datahref-"https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/ho 


w tos/reading data/index. md”) 翻译 : volvet and zhangkom 校对 : 
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线程 和 队列 




















在 使 用 TensorFlow 进 行 异步 计算 时 ， 队 列 是 一 种 强大 的 机 制 。 




















正如 TensorFlow 中 的 其 他 组 件 一 样 ， 队 列 就 是 TensorFlow 图 中 的 节点 。 这 是 一 种 有 状态 的 节点 ， 就 像 变 量 一 
FÉ: 其 他 节点 可 以 修改 它 的 内 容 。 具 体 来 说 ， 其 他 节点 可 以 把 新 元 素 插 入 到 队列 后 端 (rear)， 也 可 以 把 队列 前 
端 (front) 的 元 素 删 除 。 






































为 了 感受 一 下 队列 ， 让 我 们 来 看 一 个 简单 的 例子 。 我 们 先 创 建 一 个 “先入 先 出 ”的 队列 CFIF0Queue) ， 并 将 其 内 
部 所 有 元 素 初 始 化 为 零 。 人 然后， 我们 构建 一 个 TensorFlow 图 ， 它 从 队列 前 端 取 走 一 个 元 素 ， 加 上 1 之 后 ， 放 回 队列 
的 后 端 。 慢 慢 地 ， 队 列 的 元 素 的 值 就 会 增加 。 




















q = tf.FIFOQueue(3, "float") 
init = q.enqueue many(([0.,0.,0.],)) 


x = q.dequeue() 
y = x+1 
q_inc = q.enqueue([y]) 


init.run() 

q_inc.run() 
q_inc.run() 
q_inc.run() 
q inc.run() 
































Enqueue , EnqueueMany 和 Dequeue 都 是 特殊 的 节点 。 他 们 需要 获取 队列 指针 ， 而 非 普 通 的 值 ， 如 此 才能 修改 队 
列 内 容 。 我 们 建议 您 将 它们 看 作 队 列 的 方法 。 事 实 上 ， 在 Python API 中 ， 它 们 就 是 队列 对 象 的 方法 (例如 q. enque 























USTED 。 

















现在 你 已 经 对 队列 有 了 一 定 的 了 解 ， 让 我 们 深入 到 细节 ... 








| 队列 使 用 概述 








队列 ， 如 FIFOQueue 和 RandomShuffleQueue ， 在 TensorFlow 的 张 量 异步 计算 时 都 非常 重要 。 








例如 ， 一 个 典型 的 输入 结构 : 是 使 用 一 个 RandomShuffleQueue 来 作为 模型 训练 的 输入 : 























。 多 个 线程 准备 训练 样本 ， 并 且 把 这 些 样本 推 入 队列 。 

















e 一 个 训练 线程 执行 一 个 训练 操作 ， 此 操作 会 从 队列 中 移 除 最 小 批 次 的 样本 (mini-batches)。 











这 种 结构 具有 许多 优点 ， 正 如 在 Reading data how to 中 强调 的 ， 同 时 ，Reading data how to 也 概 插 地 描述 了 如 
何 简 化 输入 管道 的 构造 过 程 。 
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TensorFlowlf] Session 对 象 是 可 以 支持 多 线程 的 ， 因 此 多 个 线程 可 以 很 方便 地 使 用 同一 个 会 话 (Session) 并 且 并 
行 地 执行 操作 。 然 而 ， 在 Python 程序 实现 这 样 的 并 行 运 算 却 并 不 容易 。 所 有 线程 都 必须 能 被 同步 终止 ， 异 党 必须 
能 被 正确 捕获 并 报告 ， 回 话 终止 的 时 候 ， 队列 必须 能 被 正确 地 关闭 。 
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所 幸 TensorFlow 提 供 了 两 个 类 来 帮助 多 线程 的 实现 ;tf. Coordinator 和 tf. QueueRunner 。 从 设计 上 这 两 个 类 必须 
被 一 起 使 用 。 Coordinator 类 可 以 用 来 同时 停止 多 个 工作 线程 并 且 向 那个 在 等 待 所 有 工作 线程 终止 的 程序 报告 异 
常 。 QueueRunner 类 用 来 协调 多 个 工作 线程 同时 将 多 个 张 量 推 入 同一 个 队列 中 。 






























































| Coordinator 





Coordinator 类 用 来 帮助 多 个 线程 协同 工作 ， 多 个 线程 同步 终止 。 其 主要 方法 有 : 

















e should stop :如 果 线 程 应 该 停止 则 返回 True。 











* request stop(Xexception») : 请 求 该 线程 停止 。 





e  join(Xlist of threads») :等 待 被 指定 的 线程 终止 。 

















首先 创建 一 个 Coordinator 对 象 ， 然 后 建立 一 些 使 用 Coordinator 对 象 的 线程 。 这 些 线程 通常 一 直 循 环 运行 ， 一 
直到 should stopO 返回 True 时 停止 。 任何 线程 都 可 以 决定 计算 什么 时 候 应 该 停止 。 它 只 需要 调用 request sto 
pO ， 同 时 其 他 线程 的 should stopO 将 会 返回 True ， 然 后 都 停 下 来 。 












































# 线程 体 : 循环 执行 ， 直 到 Coordinator 收 到 了 停止 请 求 。 





# 如 果 某 些 条 件 为 真 ， 请 求 Coordinator 去 停止 其 他 线程 。 
def MyLoop (coord) : 
while not coord. should stop(): 
...do something... 
if ...some condition...: 
coord. request stop() 
8 Main code: create a coordinator. 
coord = Coordinator () 
# Create 10 threads that run 'MyLoopO' 
threads = [threading. Thread(target-MyLoop, args-(coord)) for i in xrange(10)] 


# Start the threads and wait for all of them to stop. 


fow t im timeas: Leteri O) 
coord. join (threads) 














显然 ，Coordinator 可 以 管理 线程 去 做 不 同 的 事情 。 上 面 的 代码 只 是 一 个 简单 的 例子 ， 在 设计 实现 的 时 候 不 必 完 
照搬 。Coordinator 还 支持 捕捉 和 报告 异常 ， 具 体 可 以 参考 Coordinator class 的 文档 。 


Hp 
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| QueueRunner 

















QueueRunner 类 会 创建 一 组 线程 ， 这 些 线程 可 以 重复 的 执行 bnquene 操 作 ， 他 们 使 用 同一 个 Coordinator 来 处 理 
线程 同步 终止 。 此 外 ， 一 个 QueueRunner 会 运行 一 个 closer thread， 当 Coordinator 收 到 异常 报告 时 ， 这 个 closer 


thread 会 自动 关闭 队列 。 












































n 


您 可 以 使 用 一 个 queue runner， 来 实现 上 述 结构 。  BibÉEr—^ TensorFlowl|zé, 3e Ese fi HJ BA ole 8 ACRI 
本 。 增 加 处 理 样 本 并 将 样本 推 入 队列 中 的 操作 。 增 加 training 操 作 来 移 除 队列 中 的 样本 。 



























































example = ...ops to create one example.. 
4 Create a queue, and an op that enqueues examples one at a time in the queue 


queue - tf. RandomShuffleQueue(...) 
enqueue op - queue. enqueue (example) 
8 Create a training graph that starts by dequeuing a batch of examples. 





inputs = queue. dequeue many (batch size) 
train op - ...use 'inputs' to build the training part of the graph.. 








在 Python 的 训练 程序 中 ， 创 建 一 个 QueueRunner 来 运行 几 个 线程 ， 这 几 个 线程 处 理 样 本 ， 并 且 将 样本 推 入 队 






























































列 。 创 建 一 个 Coordinator ， 让 queue runner 使 用 Coordinator 来 启动 这 些 线 程 ， 创 建 一 个 训练 的 循环 ， 并 且 使 
用 Coordinator 来 控制 QueueRunner 的 线程 们 的 终止 。 




















8 Create a queue runner that will run 4 threads in parallel to enqueue 


8 examples 


qr = tf. train. QueueRunner (queue, [enqueue op] * 4) 


8 Launch the graph 


sess - tf.Session() 


8 Create a coordinator, launch the queue runner threads 


coord - tf. train. Coordinator () 
enqueue threads = qr.create threads(sess, coord-coord, start-True) 


8 Run the training loop, controlling termination with the coordinator 


for step in xrange (1000000) : 
if coord. should stop () : 
break 
sess.run(train op) 


4 When done, ask the threads to stop. 


coord. request stop() 
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8 And wait for them to actually do it. 


coord. join(threads) 


| 异常 处 理 























通过 queue runners 启 动 的 线程 不 仅仅 只 处 理 推送 样本 到 队列 。 他 们 还 捕 提 和 处 理由 队列 产生 的 异常 ， 包 括 OutOfR 
angeError 异常 ， 这 个 异常 是 用 于 报告 队列 被 关闭 。 使 用 Coordinator 的 训练 程序 在 主 循环 中 必须 同时 捕捉 和 报 
告 异 常 。 下 面 是 对 上 面 训练 循环 的 改进 版 本 。 







































































try: 
for step in xrange (1000000) : 
if coord. should stop Q) : 
break 
sess.run(train op) 
except Exception, e: 
4 Report exceptions to the coordinator 
coord. request stop(e) 
# Terminate as usual. It is innocuous to request stop twice 
coord.request stop() 
coord. join(threads) 


原文 地 址 : [Threading and Queueshref-" https: //github. com/ jikexueyuanwiki /tensorflow-zh/blob/master/S 


OURCE/how tos/threading and queues/index. md”) 翻译 : zhangkom 校对 : volvet 
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增加 一 个 新 0p 


预备 知识 


”对 C++ 有 一 定 了 解 . 


已 经 下 载 TensorFlow 源 代 码 并 有 能 力 编译 它 . 

















上 一 个 .为 了 使 定制 的 Op 能 够 兼容 原 有 的 库 ， 你 必须 做 以 




















如 果 现 有 的 库 没有 涵盖 你 想 要 的 操作 ， 你 可 以 自己 定 利 
FLF: 





”在 一 个 C++ 文件 中 注册 新 Op. Op 的 注册 与 实现 是 相互 独立 的 ， 在 其 注册 时 描述 了 Op 该 如 何 执行 ， 例 如 ， 
注册 Op 时 定义 了 Op 的 名 字 ， 并 指定 了 它 的 输入 和 输出 . 
































。 使 用 C++ 实现 Op. 每 一 个 实现 称 之 为 一 个 “kernel“， 可 以 存在 多 个 kernel， 以 适 配 不 同 的 架构 (CPU, GP 
U 等 ) 或 不 同 的 输入 /输出 类 型 














。 创建 一 个 Python 包装 器 (wrapper). 这 个 包装 器 是 创建 Op 的 公开 API.， 当 注册 Op 时 ， 会 自动 生成 一 个 
默认 默认 的 包装 器 . 既 可 以 直接 使 用 默认 包装 器 ， 也 可 以 添加 一 个 新 的 包装 器 . 
































(可 选 ) 写 一 个 函数 计算 Op 的 梯度 . 








(可 选 ) 写 一 个 函数 ， 描 述 Op 的 输入 和 输出 shape， 该 函数 能 够 允许 从 Op HEW shape. 











。 测试 0p， 通 党 使 用 Pyhton。 如 果 你 定义 了 梯度 ， 你 可 以 使 用 Python 的 GradientChecker 来 测试 它 。 


| 内 容 


增加 一 个 新 0p (页 6) 














* 定义 0p 的 接口 (页 123) 
。 为 Op 实现 kernel (页 123) 
。 生成 客户 端 包 装 嚣 (页 124) 
* Python Op 包装 器 (页 124) 


* C++ Op 包装 器 (页 125) 


。 检查 Op 能 否 正常 工作 (页 125) 








。 验证 条 件 (页 126) 








* Op 注册 (页 126) 
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。 属性 (页 126) 
。 属性 类 型 (页 128) 
。 多 态 (页 130) 


。 输入 和 输出 (页 135) 








。 [ACE (页 137) 


。 GPU 支持 (页 137) 


。 使 用 Python 实现 梯度 (页 138) 





。 使 用 Python 实现 shape 函数 (页 139) 


| 定义 op 的 接口 








[f] TensorFlow 系统 注册 来 定义 Op 的 接口 . 在 注册 时 ， 指 定 Op 的 名 称 ， 它 的 输入 (类 型 和 名 称 ) 和 输出 (类 型 
和 名 称 )， 和 所 需要 任何 属性 (页 126) 的 文档 说 明 . 












































为 了 让 你 有 直观 的 认识 ， 创 建 一 个 简单 的 Op 作为 例子 . 该 Op 接受 一 个 int32 类 型 tensor 作为 输入 ， 输 出 
这 个 tensor 的 一 个 副本 ， 副 本 与 原 tensor 唯一 的 区 别 在 于 第 一 个 元 素 被 置 为 0， 创建 文件 tensorflow/cor 


e/user ops/zero out.cc ， 并 调用 REGISTER OP 宏 来 定义 Op 的 接口 . 












































&include "tensorflow/core/framework/op. h” 
REGISTER 0P ("ZeroOut^) 
.Input( to zero: int32^) 
.Output("zeroed: int32^); 





Zero0ut Op 接受 32 位 整 型 的 tensor to zero 作为 输入 ， 输 出 32 位 整 型 的 tensor zeroed. 


以 下 划 线 开始 的 名 称 保留 为 内 部 使 用 ， 


eT 
rHr 
aH 
an 
C 
= 
TS 
z 
IN 
ME 


命名 的 注意 事项 : Op 的 名 称 必须 是 为 唯一 的 ， 并 使 


| AJ Op 实现 kernel 














在 定义 接口 之 后 ， 提 供 一 个 或 多 个 Op 的 实现 ， 为 这 些 kernel 的 每 一 个 创建 一 个 对 应 的 类 ， 继 承  OpKernel, 
fii Compute 方法 . Compute 方法 提供 一 个 类 型 为 ”0pKernelContextk 的 参数 context ， 用 于 访问 一 些 有 用 


的 信息 ， 例 如 输入 和 输出 的 tensor. 
















































































将 kernel 添加 到 刚才 创建 的 文件 中 ，kernel 看 起 来 和 下 面 的 代码 类 似 : 


ww ai bbt. com (1 [1 H1 B E] D] H 


#include “tensorflow/core/framework/op kernel.h” 
using namespace tensorflow; 
class ZeroOutOp : public OpKernel { 
public: 
explicit ZeroOutOp(OpKernelConstruction* context) : OpKernel(context) {} 
void Compute (OpKernelContext* context) override { 
// 获取 输入 tensor. 
const Tensor& input tensor = context-^input (0) ; 
auto input - input tensor. lar int32 0); 
// 创建 一 个 输出 tensor. 
Tensor output tensor = NULL; 
OP REQUIRES OK(context, context-^allocate output(0, input tensor. shape (), 
&output tensor)); 
auto output = output tensor-^template flat<int32>() ; 
// 设置 tensor 除 第 一 个 之 外 的 元 素 均 设 为 0. 
const int N - input. size ; 
fow (umb i= dg i< N de) d 
output(i) - 0; 
j 
// 尽 可 能 地 保留 第 一 个 元 素 的 值 
if (N » 0) output(0) = input (0) ; 
} 
lr 








L 


TT 





实现 kernel 后 ， 将 其 注册 到 TensorFlow 系统 中 . 注册 时 ， 可 以 指定 该 kernel 运行 时 的 多 个 约束 fH 
可 以 指定 一 个 kernel 在 CPU 上 运行 ， 另 一 个 在 GPU 上 运行 . 





， 例 如 























将 下 列 代码 加 入 到 zero out.cc _ 中， 注册 ZeroOut op: 


REGISTER KERNEL BUILDER (Name ("ZeroOut^). Device (DEVICE CPU), ZeroOutOp); 

















- 且 创 建 和 重新 安装 了 TensorFlow , Tensorflow 系统 可 以 在 需要 时 引用 和 使 用 该 Op. 
| 生成 客户 端 包装 器 


Python Op 包装 器 





当 编译 TensorFlow 时 ， 所 有 放 在 tensorflow/core/user ops 目录 下 的 Op 会 自动 在 bazel-genfiles/tensorf 
low/python/ops/gen user ops.py 文件 中 生成 Python Op 包装 器 . 通过 以 下 声明 ， 把 那些 Op 引入 到 tensorfl 





























ow/python/user ops/user ops.py 中 : 


from tensorflow. python. ops. gen user ops import * 
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你 可 以 选择 性 将 部 分 函数 替换 为 自己 的 实现 .为 此 ， 首 先 要 隐藏 自动 生成 的 代码 ， 在 tensorflow/python/BUILD 


文件 中 ， 将 其 名 字 添 加 到 "user ops” 的 hidden 列表 












































tf gen op wrapper py( 

name - "user ops, 
hidden = [ 
ERGO, 





J; 


require shape functions = False 


紧 接 着 “Fact” 列 出 自己 的 Op. 然后 ， 在 tensorflow/python/user ops/user ops.py 中 添加 你 的 替代 实现 函 
数 . 通常 ， 替 代 实 现 函 数 也 会 调用 自动 生成 函数 来 真正 把 Op 添加 到 图 中 . 被 隐藏 的 自动 生成 函数 位 于 gen use 
rops 包 中 ， 名 称 多 了 一 个 下 划 线 前 级 C ^0. 例如 : 






























































def my fact(): 
"^^ Ed Op 自动 生成 代码 的 示例 .““” 


return gen user ops. fact() 


C++ Op 包装 器 


当 编译 TensorFlow 时 ， 所 有 tensorflow/core/user ops 文件 夹 下 的 Op 会 自动 创建 C++ Op 包装 器 . 例如 ， 











tensorflow/core/user ops/zero out.cc 中 的 Op 会 自动 在 bazel-genfiles/tensorflow/cc/ops/user ops. {h,c 


c) 中 生成 包装 器 . 




















tensorflow/cc/ops/standard ops.h 通过 下 述 申 明 ， 导 入 用 户 自 定义 Op 自动 生成 的 包装 器 . 




















&include “tensorflow/cc/ops/user ops.h^ 











验证 已 经 成 功 实现 Op 的 方式 是 编写 测试 程序 .创建 文件 tensorflow/python/kernel tests/zero out op test. p 


y ， 包 含 以 下 内 容 : 








import tensorflow as tf 
class ZeroOutTest (tf. test. TestCase): 
def testZeroOut (self): 
with self.test session(): 
SUE = th user oos zero wwe, 4A 3 2 D 
self.assertAllEqual(result.eval(, [5, 0, 0, 0, 0]) 


然后 运行 测试 : 


$ bazel test tensorflow/python:zero out op test 
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| 验证 条 件 











上 述 示例 假定 Op 能 够 应 用 在 任何 shape 的 tensor 上 .如果 只 想 应 用 到 vector 上 We? 这 意味 需要 在 上 述 Op 
Kernel 实现 中 添加 相关 的 检查 . 




















void Compute (OpKernelContext* context) override { 
// 获取 输入 tensor 
const Tensor& input tensor = context->input(0) ; 
OP REQUIRES(context, TensorShapeUtils::IsVector(input tensor. shape), 


errors::InvalidArgument ('ZeroOut expects a 1-D vector. ^); 


d edes 








OP REQUIRES 断言 的 输入 是 一 个 vector， 如 果 不 是 vector, JE InvalidArgument 状态 并 返回 . OP REQUIR 
ES X 有 三 个 参数 : 














* context : 可 以 是 一 个 OpKernelContext 或 0pKernelConstruction 指针 (参见 tensorflow/core/framewo 


rk/op kernel.h )， 其 SetStatus() 方法 将 被 使 用 到 . 























。 检查 条 件 : tensorflow/core/public/tensor shape.h 中 有 一 些 验证 tensor shape 的 函数 . 











。 条 件 不 满足 时 产生 的 错误 : 错误 用 一 个 Status 对 象 表示 ， 参 见 tensorflow/core/public/status.h . Stat 
us 包含 一 个 类 型 (通常 是 InvalidArgument ， 但 也 可 以 是 任何 类 型 ) 和 一 个 消息 .构造 一 个 错误 的 函数 位 


























于 tensorflow/core/lib/core/errors.h 中 . 

















如 果 想 要 测试 一 个 函数 返回 的 ”Status 对 象 是 否 是 一 个 错误 ， 可 以 使 用 OP REQUIRES OK ， 这 些 宏 如 果 检 测 到 错 
误 ， 会 直接 跳出 函数 ， 终 止 函数 执行 

















| o» 注册 


属性 





























Op 可 以 有 属性 ， 属 性 的 值 在 Op 添加 到 图 中 时 被 设置 ,属性 值 用 于 配置 0p， 在 kernel 实现 中 ，0p 注册 的 输入 
和 输出 类 型 中 ， 均 可 访问 这 些 属性 值 ， 尽 可 能 地 使 用 输入 代替 属性 ， 因 为 输入 的 灵活 性 更 高 ， 例 如 可 以 在 执行 步 
又 中 中 被 更 改 ， 可 以 使 用 feed 等 等 ， 属 性 可 用 于 实现 一 些 输入 无 法 做 到 的 事情 ， 例 如 影响 Op 签名 ( 即 输入 输 
出 的 数量 和 类 型 ) 的 配置 或 只 读 配置 可 以 通过 属性 实现 . 































































































— 















































注册 Op 时 可 以 用 Attr 方法 指定 属性 的 名 称 和 类 型 ， 以 此 来 定义 一 个 属性 ， 形 式 如 下 : 


<name>: Xattr-type-expr? 
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<name> 必须 以 字母 开头 ， 可 以 由 数字 ， 字 母 ， 下 划 线 组 成 ， 《attr-type-expr> 是 - 











(页 0) : 














i 运作 方式 


-个 类 型 表达 式 ， 形 式 如 下 


例如 ， 如 果 想 要 Zero0ut Op 保存 一 个 用 户 索 引 ， 指 示 该 Op 不 仅仅 只 有 一 个 元 素 ， 你 可 以 注册 Op 如 下 : 





HoN 


REGISTER 0P ("ZeroOut^) 
. Attr (“preserve index: int”) 
.Input( to zero: int32^) 
.Output ('zeroed: int32^); 














t 














你 的 kernel 可 以 在 构造 函数 里 ， 通 过 context 参数 访问 这 个 属性 : 


class ZeroOutOp : public OpKernel { 
public: 
explicit ZeroOutOp(OpKernelConstruction * context) : OpKernel(context) { 
// 获取 和 欲 保存 的 索引 值 
OP_REQUIRES_OK (context, 
context->GetAttr (”preserve_index”, &preserve index )); 
// 检查 preserve index 是 否 为 正 
OP REQUIRES(context, preserve index >= 0 


errors::InvalidArgument (Need preserve index >= 0, got 





preserve index )); 
| 
void Compute (OpKernelContext* context) override { 
n 
} 
private: 


int preserve index ; 

















该 值 可 以 在 ”Compute 方法 中 被 使 用 : 





void Compute (OpKernelContext* context) override { 


JL 


// 检查 preserve index 范围 是 否 合法 














OP REQUIRES(context, preserve index < input. dimension(0) 





errors::InvalidArgument (“preserve index out of range^)); 
// 设置 输出 tensor 所 有 的 元 素 值 为 0 
const int N = input. sizeQ ; 
(Hexe (Qm i= 0g i WS iie) d 
output flat(i) = 0; 














J 
// 保存 请 求 的 输入 值 
output flat(preserve index ) = input(preserve index ); 


) 
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为 了 维持 向 后 兼容 性 (页 0)， 将 一 个 属性 添加 到 一 个 已 有 的 Op 时 ， 必 须 指定 一 个 默认 值 (页 0): 


REGISTER OP ("ZeroOut^) 
.Attr(/preserve index: int - 0^) 
.Input( to zero: int32^") 
.Output(lzeroed: int32^); 


属性 类 型 








属性 可 以 使 用 下 面 的 类 型 : 

















。 string : 任何 二 进 制 字 节 流 (UTF8 不 是 必须 的 ). 
* dnt : 一 个 有 型 整数 . 
* :一 个 浮 点 数 . 


。 bool: 真 或 假 . 














e type: DataType 非 引 用 类 型 之 一 . 
e shape : 一 个 TensorShapeProto . 
* tensor: 一 个 TensorProto. 


e list(&«type)) : «type» 列表 ， 其 中 «type 是 上 述 类 型 之 一 . 注意 list(list(«type»)) 是 无 效 的 . 





权威 的 列表 以 op def builder.cc:FinalizeAttr 为 准 . 





默认 值 和 约束 条 件 
属性 可 能 有 默认 值 ， 一 些 类 型 的 属性 可 以 有 约束 条 件 ， 为 了 定义 一 个 有 约束 条 件 的 属性 ， 你 可 以 使 用 下 列 的 《att 


r-type-expr? 形式 : 











+ 


。 P <stringl>, '4string2»? ) : 属性 值 必须 是 一 个 字符 串 ， 取 值 可 以 为 《stringl> 或 “string2>， 值 的 语 
去 已 经 暗示 了 值 的 类 型 为 string ， 已 经 暗示 了 .下 述 语句 模拟 了 一 个 枚 举 值 : 





— 

















RA 


REGISTER OP ("EnumExample^) 
.Attr( ce: (l'apple', 'orange'] ^); 


e [«typeD», <type2>} : 值 是 type 类 型 ， 且 必须 为 “typel> 或 《type2》 之 一 ， 当 然 “typel> 和 «ty 
pe2» 必须 都 是 有 效 的 tensor 类 型 .你 无 须 指 定 属性 的 类 型 为 ”type ， 而 是 通过  (..) 语句 给 出 一 个 类 
型 列表 例如， 在 下 面 的 例子 里 ， 属 性 t 的 类 型 必须 为 int32 ， float ， 或 bool: 
































REGISTER OP ("-RestrictedTypeExample^) 
sb us liat roar booli )e 
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。 这 里 有 一 些 常见 类 型 约束 条 件 的 快捷 方式 : 














。 numbertype : 限制 类 型 为 数字 类 型 ， 即 非 string dE bool 的 类 型 . 





e realnumbertype : 与 numbertype 区 别 是 不 支持 复杂 类 型 . 


。 quantizedtype : Lj numbertype 区 别 是 只 支持 量化 数值 (quantized number type). 














这 些 类 型 的 列表 在 ”tensorflow/core/framework/types.h 文件 中 通过 函数 定义 (如 NumberTypes O ). 本 例 中 属 


性 t 必须 为 某 种 数字 类 型 : 





REGISTER OP (“NumberType”) 
.Attr(^t: numbertype^); 


对 于 这 个 Op: 


tf.number type(t-tf.int32) # 有 效 
tf.number type(t-tf.bool) 8 无 效 














。 dnto- m: 值 必须 是 一 个 整数 ， 且 取 值 大 于 等 于 《n> ， Gv 是 一 个 自然 数 . 





例如 ， 下 列 Op 注册 操作 指定 了 属性 a 的 取 值 至 少 为 2. 








REGISTER OP ("MinIntExample^) 
Aetas imi NOME 


e list(<type》) >= <n : 一 个 «type 类 型 列表 ， 列 表 长 度 必 须 大 于 等 于 a. 








例如 ， 下 面 的 Op 注册 操作 指定 属性 a 是 一 个 列表 ， 列 表 中 的 元 素 类 型 是 int32 或 float 列表 长 度 至 少 为 
3. 








REGISTER OP (^TypeListExample^) 
Ee s fene (nep iren) 2e 8 Js 






































— 

















通过 添加 = «default? 到 约束 条 件 末尾 ， 给 一 个 属性 设置 默认 值 (使 其 在 自动 生成 的 代码 里 变 成 可 选 属性 
如 下 : 























REGISTER OP (^AttrDefaultExample^) 
Ate us dub 07s 











默认 值 支持 的 语法 将 在 最 终 GraphDef 定义 的 protobuf 表示 中 被 使 用 . 


下 面 是 给 所 有 类 型 赋予 默认 值 的 例子 : 





REGISTER OP ("AttrDefaultExampleForAllTypes^) 
Aur ss sirine = roo ) 
Atte is imi = 0) 
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Aice: ioar = LO) 
.Attr(/b: bool = true^) 
.Attr('ty: type = DT INT32^) 
„Atte sins 
. Attr (te: 
.Attr( 1 empty: list(int) 
.Attr(^l int: list(int) = 


L} dim | sues 2 Lh 1) 
5E 


shape - ( dim Í size: 
tensor - ([ dtype: DT INT32 int val: 
= [1^) 

B a m UI 





请 特别 注意 那些 类 型 值 里 面包 含 的 “页 名称. 














Type Polymorphism 


对 于 那些 可 以 使 用 不 同类 型 输入 或 产生 不 同类 型 输出 的 0p， 可 以 尘 





第 3 E 运作 方式 


EHF Op 时 为 输入 /输出 类 型 里 指定 一 个 属性 











(页 0. 一 般 紧 接着 ， 会 为 每 一 个 支持 的 类 型 注册 一 个 OpKernel . 
例如 ， 除 了 int32 外 ， 想 要 Zero0ut Op 支持 float ， 注 册 代码 如 下 : 
REGISTER OP ("ZeroOut^) 
Ae Ig dile, dines 
.Input ( (to zero: Xb?TX/b»^) 
. Output (zeroed: «b»TX/b»^); 
这 段 Op 注册 代码 现在 指定 了 输入 的 类 型 必须 为 float 或 int32 ， 而 且 既然 输入 和 输出 制定 了 同样 的 类 型 








T ， 和 输出 也 同样 如 此 . 

















130 


-个 命名 建议 : naming) 和 输入， 输出， 和 属性 通常 使 用 snake case 命名 法 . 唯一 的 例外 是 属性 被 用 作 输 入 类 
型 或 是 输入 类 型 的 一 部 分 ， 当 添加 到 图 中 时 ， 这 些 属性 可 以 被 推断 出 来 ， 因 此 不 会 出 现在 Op 的 函数 里 .例如 ， 
最 后 一 个 ZeroOut 定义 生成 的 Python 函数 如 下 : 
def zero out (to zero, name=None): 
参数 : 
to zero: 一 个 Tensor .必须 为 下 列 类 型 之 一 : 
la 
name: 操作 的 名 字 (可 选 ). 
返回 值 : i ] , 
—^ "Tensor , 2S7 4I ^to zero -—ff. 
1 果 输 入 的 to zero 是 一 个 int32 的 tensor， 然 后 T 将 被 自动 设置 为 int32 (实际 DT INT32 ). 
那些 推导 出 的 属性 的 名 称 字 母 全 大 写 或 采用 驼峰 命名 法 . 





个 输出 类 型 自动 推断 的 例子 ， 读 者 可 以 对 比 一 下 : 
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ü 


REGISTER 0P ("StringToNumber^) 
.Input( string tensor: string") 
.Output(loutput: out type") 
NE on wes lem, ime) J- 
. Doc (R^ doc ( 


Converts each string in the input Tensor to the specified numeric type 


)doc^) ; 


在 这 种 情况 下 ， 用 户 需 要 在 生成 的 Python 代码 中 指定 输出 类 型 . 


def string to number(string tensor, out type-None, name-None): 


“将 输入 Tensor 中 的 每 一 个 字符 串 转 化 成 指定 的 数字 类 型 
参数 : 


string tensor: —^^ string Re 型 的 “Tensor 

out type: MM tf.DType', MAS tf.float32, tf.int32 . 
SUAfHAÉ tf. float32 . 

name: 操作 的 名 称 (可 选 ). 


返回 值 : 
TA 


nnn 





"out type” 类 型 的 “Tensor . 


#include “tensorflow/core/framework/op kernel.h” 
class ZeroOutInt320p : public OpKernel { 
// 和 之 前 一 样 





全 
class ZeroOutFloatOp : public OpKernel { 





public: 
explicit ZeroOutFloatOp(OpKernelConstruction * context) 
: OpKernel(context) {} 

void Compute (OpKernelContext * context) override { 
// 获取 输入 tensor 
const Tensor& input tensor = context-^input (0); 
auto input - input tensor. flat«float» OF 
// 创建 一 个 输出 tensor 
Tensor * output - NULL; 
OP REQUIRES OK (context, 





context-»allocate output(0, input tensor. shape (), 


auto output flat - output-^template ilat Moat OF 
// 设置 输出 tensor 的 所 有 元 素 为 0 
const int N 7 input. size) ; 
foe (hm i= Qs n &lts We t=) 1 
output flat(i) = 0 
) <br/> 
// 保留 第 一 个 输入 值 
if (N &gt; O0) output flat(0) = input (0) ; 
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&output)) ; 





pn; 


p: 
3 


Op 注册 代码 























// 注意 ，TypeConstraint《int32>(“T”) 意味 着 属性 “T” C 
// 定义 的 ) 必须 是 “int32“， 才 能 实例 化 . 
REGISTER KERNEL BUILDER( 

Name ("ZeroOut^) 

. Device (DEVICE CPU) 

. TypeConstraint&lt;int32&gt; (^T^) 

ZeroOutOpInt32) ; 
REGISTER KERNEL BUILDER( 

Name ("ZeroOut^) 

. Device (DEVICE CPU) 

. TypeConstraint«float»? (^T^), 


ZeroOutFloatOp); 
为 了 保持 向 后 兼容 性 (页 0)， 你 在 为 一 个 已 有 的 op 添加 属性 时 ， 必 须 指定 一 个 默认 值 (页 0): 


REGISTER OP ("ZeroOut^ 
.Attr("T: (float, int32} = DT INT32^) 
.Input( to zero: T^ 
. Output ( zeroed: T^ 








如 有 果 需 要 添加 更 多 类 型 ， 例 如 double : 


REGISTER 0P ("ZeroOut^) 
.Attr( T: (float, double, int32]^) 
.Input(^to zero: T^) 
. Output ( zeroed: T^); 





个 重 载 版 本 定义 一 个 keneral 注册 ( REGISTERV KERNELN BUILDER 调用 ). 





template 《typename T>; 
class ZeroOutOp : public OpKernel { 
public: 
explicit ZeroOutOp(OpKernelConstruction* context) : OpKernel(context) {} 
void Compute (OpKernelContext* context) override { 
// 获取 输入 tensor 
const Tensor& input tensor = context-^input (0); 
auto input = input tensor. flat<T> O ; 
// 创建 一 个 输出 tensor 
Tensor* output = NULL; 
OP REQUIRES OK (context, 
context-^allocate output(0, input tensor. shape(), &output)); 





auto output flat - output-^template flat«T»(); 
// 设置 输出 tensor 的 所 有 元 素 为 0 
const int N= input. size() ; 


flore Gat i = 0; i< Ms e») d 
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i 运作 方式 


为 了 避免 为 新 增 的 类 型 写 见 余 的 ”0pKernel 代码 ， 通 常 可 以 写 一 个 C++ 模板 作为 奉 代 ， 当 然 ， 仍 然 需 要 为 每 一 


i 运作 方式 


output flat(i) = 0; 
} 
// Preserve the first input value 
if (N » 0) output flat(0) - at O) 


ls 
Josep» 
// ©, TypeConstraint&Xint32» T^) 意味 着 属性 “T”( 在 上 面 Op 注册 代码 中 
// 定义 的 ) 必须 是 “int32”， 才 能 实例 化 . </b> 
REGISTER KERNEL BUILDER( 

Name ("ZeroOut^) 

. Device (DEVICE CPU) 

. TypeConstraintXint32» (T^) 

ZeroOutOpCint325); 
REGISTER KERNEL BUILDER( 

Name ("ZeroOut^) 

. Device (DEVICE CPU) 

. TypeConstraint«float» (T^) 

ZeroOutOp«float?); 
REGISTER KERNEL BUILDER( 

Name ("ZeroOut^) 

. Device (DEVICE CPU) 

. TypeConstraint&double» (^T^) 

ZeroOutOp«double?) ; 




















如 果 有 很 多 重 载 版 本 ， 可 以 将 注册 操作 通过 一 个 宏 来 实现 





&include “tensorflow/core/framework/op kernel.h^ 


Hdefine REGISTER KERNEL (type) N 

REGISTER KERNEL BUILDER( X 
ame ("ZeroOut^).Device(DEVICE CPU). TypeConstraint&type? (T^), \ 
ZeroOutOp«type?) 


REGISTER KERNEL (int32) ; 

REGISTER KERNEL (float) ; 

REGISTER KERNEL (double) ; 
#undef REGISTER KERNEL 























取决 于 注册 kernel 使 用 哪些 类 型 ， 你 可 能 可 以 使 用 tensorflow/core/framework/register types.h 提供 的 宏 : 








#include “tensorflow/core/framework/op kernel.h” 
&include “tensorflow/core/framework/register types.h” 
REGISTER OP ("ZeroOut^) 

.Attr(^T: realnumbertype^) 

.Input (^to zero: T^) 

. Output ('zeroed: T^); 
template <typename T> 
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class ZeroOutOp : public OpKernel ( ... ); 
Hdefine REGISTER KERNEL (type) N 
REGISTER KERNEL BUILDER( 
Name ("ZeroOut^). Device(DEVICE CPU). TypeConstraint&type? (T^), \ 
ZeroOutOp«type?) 
TF CALL REAL NUMBER TYPES (REGISTER KERNEL) ; 








#undef REGISTER KERNEL 


列表 输入 和 输出 


除了 能 够 使 用 不 同类 型 的 tensor 作为 输入 或 输出 




















上 





Y 








c 


p 还 文 持 使 用 多 个 tensor. EAA 8X fy H 


Lc 

















在 接 下 来 的 例子 里 ， 属 性 T 存储 了 一 个 类 型 列表 ， 并 同时 作为 输入 in 和 输出 out 的 类 型 ， 输 入 和 输出 均 











为 指定 类 型 的 tensor JR. 既然 输 入 和 输出 的 类 型 均 为 T ， 它 们 的 tensor 数量 和 类 型 是 一 致 的 . 


可 以 为 列表 





REGISTER OP (“PolymorphicListExample”) 
.Attr("T: list(type)^) 
a Tipus T) 
.Qutput oui T^); 





P 可 存放 的 类 型 设 




















约束 条 件 ， 在 下 一 个 例子 中 ， 输 入 是 float 和 double 类 型 的 tensor 列表 . 











例如 ， 这 个 Op 可 接受 的 MAKEA (float, double, float) 的 数据 ， 且 在 此 情况 下 ， 输 出 类 型 同样 A l 


oat, double, float) . 


如 果 想 要 - 





REGISTER OP (^ListTypeRestrictionExample^) 
.Attr(^T: list(Ífloat, double])^) 
Jp dme T) 
.Output(^out: T^); 





AH] 








FP 的 所 有 tensor kW, niit PE: 


REGISTER 0P ("IntListInputExample^) 
Ap NS dio) 
s MEC ume DES Tune ) 
.Output( out: int32^); 





这 段 代码 接受 int32 tensor 列表 ， 并 用 一 个 int 属性 N 来 指定 列表 的 长 度 . 




















LEM 
DÆ] 























KAME (Ut 130). 在 下 一 个 例子 中 ， 输 入 是 一 个 tensor 列表 ， 长 度 为 “N”， 类 型 为 T^, fA 


"t" 的 tensor: 








REGISTER OP ("SameListInputExample^) 
.Attr(^N: int^) 
.Attr("T: type”) 
.guub( nme Mp ss T7 
.Qutput (out: T^); 
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默认 情况 下 ，tensor 列表 的 最 小 长 度 为 1， 这 个 约束 条 件 可 以 通过 为 指定 的 属性 增加 一 个 “3=” 约束 (页 0) 来 
变更 : 


REGISTER OP ("MinLengthIntListExample") 
-Atep( N: dint 2-9 27) 
.Input( in: N * int32^) 
.Output (Cout: int32^); 








同样 的 语法 也 适用 于  "list(type)" JE 








Pon 


性 : 


REGISTER OP (^MinimumLengthPolymorphicListExample") 
Aue ge lustus) = 397) 
.Input( in: T^) 
.Output(^out: T^); 


输入 和 输出 











总 结 一 下 上 述 内 容 ， 一 个 Op 注册 操作 可 以 指定 多 个 输入 和 输出 : 


REGISTER 0P ("MultipleInsAndOuts^) 
s ime we dup ) 
s Mnt zeoan) 
.Output( a: string") 
.Output Cb: int32^); 





每 一 个 输入 或 输出 形式 如 下 : 


Xname?: Xio-type-expr? 





























其 中 ，“name> 以 字母 打头 ， 且 只 能 由 数字 ， 字 母 和 下 划 线 组 成 ， 《io-type-expr> 可 以 是 下 列 类 型 表达 式 2 














。 《type> ， 一 个 合法 的 输入 类 型 ， 如 float, int32, string. 这 可 用 于 指定 给 定 类 型 的 单个 tensor. 


由 


参见 合法 Tensor 类 型 列表 . 


REGISTER OP (^BuiltInTypesExample") 
. Input (integers: int32^) 


. Input (complex numbers: scomplex64^); 








* “attr-type> ， 一 个 属性 (页 0) 和 一 个 类 型 type 或 类 型 列表 list(type) (可 能 包含 类 型 限制 )， 该 语法 
可 实现 多 态 Op (页 130). 
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REGISTER OP (^PolymorphicSingleInput^) 
.Attr("T: type^) 
.Input( in: D; 
REGISTER OP ("lRestrictedPolymorphicSingleInput^) 
.Attr("T: (int32, int64)^) 
.Input (in: D; 


将 属性 的 类 型 设置 为 list(type) 将 允许 你 接受 一 个 序列 的 tensor. 


























REGISTER OP ("ArbitraryTensorSequenceExample^) 
.Attr( T: list(type) ^) 
.Input("in: T^) 
s (Oyye (C uns Ts 

REGISTER OP (^-RestrictedTensorSequenceExample") 
.Attr(^T: list((int32, int64])^) 
s lione (mg 107) 
Own C Guns T): 








注意 ， 输 入 和 输出 均 为 T ， 意 味 着 输入 和 输出 的 类 型 与 数量 均 相 同 . 


LAS 











e  €nunber? *《type>， 一 组 拥有 相同 类 型 的 tensor， «number? 是 一 个 int 类 型 属性 的 名 称 . «type» 可 


以 是 一 个 类 似 于 int32 和 float 的 特定 类 型 ， 或 者 一 个 type 类 型 属性 的 名 字 ， 前 者 的 例子 如 下 ， 该 

















例子 接受 一 个 int32 tensor 列表 作为 Op 输入 : 


REGISTER OP (^Int32SequenceExample^) 
.Attr(/NumTensors: int”) 


. Input (Cin: NumTensors * int32^) 








后 者 的 例子 如 下 ， 该 例子 接受 一 个 泛 型 tensor 列表 作为 Op 输入 : 


REGISTER OP ("SameTypeSequenceExampl e") 
.Attr(/NumTensors: int”) 
Aet Is we ) 


.Input( in: NumTensors * T^) 














* Tensor 的 引用 表示 为 Ref(<type>), P 《type> 是 上 述 类 型 之 一 . 





个 命名 建议 : 当 使 用 属性 表示 一 个 输入 的 类 型 时 ， 该 类 型 可 以 被 推断 出 来 ， 实 现 该 特性 ， 将 需要 推断 的 类 型 


用 大 写 名 称 表示 (如 T 或 N)， 其 它 的 输入 ， 输 出 ， 和 属性 像 使 用 函数 参数 一 样 使 用 这 些 大 写 名 称 . 参见 之 





前 的 命名 建议 (页 0) 章 节 查 看 更 多 细节 ， 








更 多 细节 参见 tensorflow/core/framework/op def builder.h . 
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常 ， 对 规范 的 改变 必须 保持 向 后 兼容 性 : Op 使 用 新 规范 后 ， 需 保证 使 用 旧 规 范 构造 的 序列 化 GraphDef 仍 能 
确 工作 . 














Ed 





























下 面 是 几 种 保持 向 后 兼容 性 的 方式 : 























1. 任何 添加 到 Op 的 新 属性 必须 有 默认 值 ， 且 默认 值 下 的 行为 有 明确 定义 ， 将 一 个 非 多 态 的 操作 变 为 多 态 操作 ， 
你 必须 为 新 的 类 型 属性 赋予 默认 值 ， 以 保持 原始 的 函数 签名 ， 例 如 ， 有 如 下 操作 : 














REGISTER OP (^MyGeneralUnaryOp^) 
.Input( ^in: float") 
.Output(lCout: float^); 





可 以 通过 下 述 方式 将 其 变 为 多 态 ， 且 保持 向 后 兼容 性 : 





REGISTER OP ("MyGeneralUnaryOp^) 
s Ty (Cine T) 
.Output( out: T^) 
.Attr(/T: numerictype = float^); 








1. 放宽 一 个 属性 的 约束 条 件 是 安全 的 ， 例 如 ， 你 可 以 将  (int32, int64} 变 为 (int32, int64, float) ， 或 者 ， 


将 ('apple^, "orange") 变 为 {"apple”, “banana”, "orange"]. 





























2. 通过 给 Op 名 称 添加 一 些 项 目 中 唯一 的 标识 作为 前 级 ， 来 为 新 建 的 Op 添加 命名 空间 .命名 空间 可 以 预防 你 的 
Op 5 TensorFlow 未 来 版 本 里 的 内 置 Op 产生 命名 冲突 





























3. 超前 计划 ! 尝试 着 去 预测 Op 未 来 的 的 用 途 ， 超 前 设计 ， 毕 竞 ， 一 些 签名 的 变更 无 法 保证 兼容 性 (例如 ， 增 加 
新 的 输入 ， 或 将 原来 的 单元 素 输入 变 成 一 个 列表 ). 


























如 果 不 能 以 兼容 的 方式 改变 一 个 操作 ， 那 就 创建 一 个 全 新 的 操作 ， 来 实现 所 需 功能 











GPU 支持 


你 可 以 实现 不 同 的 0pKernel， 将 其 中 之 一 注册 到 GPU， 另 一 个 注册 到 GPU， 正 如 为 不 同 的 类 型 注册 kernel (页 
130) 一 样 . tensorflow/core/kernels/ 中 有 一 些 GPU 支持 的 例子 . 注意， 一 些 kernel 的 CPU 版 本 位 于 .cc 
文件 ，GPU 版 本 位 于 _gpu. cu. ce 文件 ， 共 享 的 代码 位 于 h 文件 . 




















H 




















例如 ， pad op 除了 GPU kernel 外 的 其 它 代码 均 在 tensorflow/core/kernels/pad op. cc 中 . GPU kernel 位 




















于 tensorflow/core/kernels/pad op gpu.cu.cc ， 共 享 的 一 个 模板 类 代码 定义 在 tensorflow/core/kernels/pad o 
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p.h .需要 注意 的 事情 是 ， 即 使 使 用 pad 的 GPU 版 本 时 ， 仍 然 需要 将 “paddings” 输入 放置 到 内 存 中 ， 为 了 
实现 这 一 点 ， 将 输入 或 输出 标记 为 必须 保存 在 内 存 中 ， 为 kernel 注册 一 个 HostMemory() 调用 . 如 下 : 
#define REGISTER GPU KERNEL (T) N 
REGISTER KERNEL BUILDER (Name (“Pad”) N 
. Device (DEVICE GPU) iN 


.TypeConstraint«T^ (T^) N 
. HostMemory ('paddings^), \ 
PadOp«GPUDevice, T>) 


使 用 Python 实现 梯度 











给 定 一 个 Op 组 成 的 图 ，TensorFlow 使 用 自动 微分 〈 反 向 传播 ) 来 添加 新 的 Op 以 表示 梯度 运算 ， 同 时 不 影响 
已 有 的 Op 《参见 梯度 运算 )， 为 了 使 自动 微分 能 够 与 新 的 0p 协同 工作 ， 必 须 注册 一 个 梯度 函数 ， 从 Op. 的 输入 
计算 梯度 ， 并 返回 代表 梯度 值 的 输 

































































Lc 














数学 上 ， 如 果 一 个 Op 计算 Nó = f(x)\)， 注 册 的 梯度 Op 通过 以 下 链 式 法 则 ， 将 NO partial / \partial y\) 
的 梯度 运算 转化 为 \(\partial / Npartial x\) 的 梯度 运算 . 





$$\frac {\partial} {\partial x) = \frac{\partial} (Npartial y} \frac{\partial y}{\partial x} = Mfra 


c{\partial} {\partial y} \frac{\partial f}{\partial x}. $$ 





fE ZeroOut 的 例子 中 ， 输 入 中 只 有 一 个 项 会 影响 输出 ， 所 以 ， 代 表 输 入 的 梯度 值 的 tensor 也 只 有 一 个 输入 
项 ， 如 下 所 示 : 

















from tensorflow. python. framework import ops 
from tensorflow. python. ops import array ops 
from tensorflow.python.ops import sparse ops 


Gops. RegisterGradient ("ZeroOut^) 
def zero out grad(op, grad): 
"^^'zero out 的 梯度 


参数 : 
op: 欲 进行 微分 的 ”zero_out ”操作 ， 可 以 用 于 获取 原始 Op 的 输入 和 输出 . 
grad: 代表 “zero_out ”输出 的 梯度 Op. 


返回 : 
代表 输入 ”zero_out ”的 微分 
to zero = op. inputs[0] 
shape - array ops. shape(to zero) 
index - array ops.zeros like(shape) 
first grad - array ops.reshape(grad, [-11) [0] 
to zero grad = sparse ops.sparse to dense(index, shape, first grad, 0) 
return [to zero grad] # 单个 Tensor 的 列表 ， 既 然 只 有 一 个 输入 








使 用 ops. RegisterGradient 注册 梯度 函数 需要 注意 的 一 些 细节 : 
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。 对 于 仅 有 一 个 输出 的 0p， 梯 度 函 数 使 用 Operation op 和 一 个 Tensor grad 作为 参数 ， 并 从 op. inpu 
ts[i] ， op.outputs[i] ， 和 grad 构建 新 的 Op. 属性 的 信息 可 以 通过 op.get_attr 获取 . 


























。 如 果 0p 有 多 个 输出 ， 梯 度 函 数 将 使 用 op 和 grads 作为 参数 ， 其 中 ， grads 是 一 个 梯度 Op 的 列表 ， 
为 每 一 个 输出 计算 梯度 ， 梯 度 函 数 的 输出 必须 是 一 个 Tensor 对 象 列表 ， 对 应 到 每 一 个 输入 的 梯度 . 

















。 如 果 没 有 为 一 些 输 入 定义 梯度 ， 壁 如 用 作 索 引 的 整 型 ， 这 些 输入 返回 的 梯度 为 ”None . 举 一 个 例子 ， 如 果 一 
个 Op 的 输入 为 一 个 浮 点 数 tensor x 和 一 个 整 型 索引 i ， 那 么 梯度 函数 将 返回 [x grad, None]. 














。 如 果 梯 度 对 于 一 个 Op 来 说 上 毫 无 意义 ， 使 用 ops.NoGradient("OpName") 禁用 自动 差分 . 




















注意 当 梯 度 函 数 被 调用 时 ， 作 用 的 对 象 是 数据 流 图 中 的 0p， 而 不 是 tensor 数据 本 身 . 因 此， 只 有 在 图 运行 时 ， 
梯度 运算 才 会 被 其 它 tensorflow Op 的 执行 动作 所 触发 . 

















| 在 Python 中 实现 一 个 形状 函数 























TensorFlow Python API 有 一 个 “形状 推 新 ”功能 ， 可 以 不 执行 图 就 获取 tensor 的 形状 信息 .形状 推断 功能 藉 
由 每 一 个 Op 类 型 注册 的 “形状 函数 ”来 支持， 该 函数 有 两 个 规则 : 假设 所 有 输入 的 形状 必须 是 兼容 的 ， 以 及 指 
定 输出 的 形状 ， 一 个 形状 函数 以 一 个 Operation 作为 输入 ， 返 回 一 个 TensorShape 对 象 列 表 (每 一 个 输出 一 
个 对 和 象 )， 使 用 tf. RegisterShape 装饰 器 注册 形状 函数 .例如 ， 上 文 定义 的 Zero0ut Op (页 123) 的 形状 函 
数 如 下 : 






























































@tf. RegisterShape (“ZeroO0ut”): 
def zero out _ shape (op) : 
“Zero0ut Op 的 形状 函数 . 
这 是 ZeroOut 形状 函数 的 无 约束 版 本 ， 为 每 一 个 输出 产生 的 形状 和 对 应 的 输入 一 样 . 


return [op. inputs[0]. get_shape 0] 











一 个 形状 函数 也 可 以 约束 输入 的 形状 ， 下面 是 ZeroOut 形状 函数 的 vector 输入 约束 (页 126) 版 本 : 











Qtf. RegisterShape ( ZeroOut^) : 
def zero out shape(op): 
""^ZeroOut Op 的 形状 函数 . 





这 是 ZeroOut 形状 函数 的 约束 版 本 ， 要 输入 的 rank 必须 是 1 (即使 一 个 vector). 


input shape = op. inputs[0].get shape(O .with rank(1) 
return [input shape] 








如 果 Op 是 多 输入 的 多 态 Op (页 130)， 使 用 操作 的 属性 来 决定 需要 检查 的 形状 数量 : 





@tf. RegisterShape ( IntListInputExample^) 
def int list input example shape (op): 
7^" "IntListInputExample^ Op 的 形状 函数 . 
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所 有 的 输入 和 输出 是 同 大 小 的 矩阵 . 


nnn 








output_shape = tf. TensorShape (None) 


for input in op. inputs: 
output shape = output shape.merge with(input.get shape().with rank(2)) 


return [output shape] 


既然 形状 推断 是 一 个 可 选 的 特性 ， 且 tensor 的 形状 可 能 动态 变化 ， 形 状 函数 必须 足够 健壮 ， 能 够 处 理 任意 输入 
形状 信息 缺失 的 情形 merge with 方法 能 够 帮助 调用 者 判断 两 个 形状 是 否 是 一 样 的 ， 即 使 两 个 形状 的 信息 不 
全 ， 该 函数 同样 有 效 . 所 有 的 标准 Python Op 的 形状 函数 都 已 经 定义 好 了 ， 并 且 已 经 有 很 多 不 同 的 使 用 示例 . 



















































































原文 : Adding a New 0p 翻译 : @doc001 校对 : @ZHNathanielLee 
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og 运作 方式 


自 定 义 数据 读 取 





基本 要 求 : 


。 熟悉 C++ 编程 。 








。 确保 下 载 TensorFlow 源 文件 ， 并 可 编译 使 用 。 








我 们 将 支持 文件 格式 的 任务 分 成 两 部 分 : 








。 文件 格式 : 我 们 使 用 Reader 0p 来 从 文件 中 读 取 一 个 record. (可 以 使 任意 字符 串 ) 。 











。 记录 格式 : 我 们 使 用 解码 器 或 者 解析 运算 将 一 个 字符 串 记录 转换 为 TensorFlow 可 以 使 用 的 张 量 。 


nl 











例如 ， 读 取 一 个 CSV 文件 ， 我 们 使 用 一 个 文本 读 写 器 ， 然后 是 从 一 行文 本 中 解析 CSV 数 据 的 运算 。 


| 主要 内 容 


自 定义 数据 读 取 (页 7) 





。 编写 一 个 文件 格式 读 写 器 (页 141) 


。 编写 一 个 记录 格式 0p (页 144) 


| 编写 一 个 文件 格式 读 写 器 





Reader 是 专门 用 来 读 取 文件 中 的 记录 的 。TensorFlow 中 内 建 了 一 些 读 写 器 0p 的 实例 : 


。 tf.TFRecordReader (代码 位 于 kernels/tf_record reader op. cc) 
e tf.FixedLengthRecordReader (代码 位 于 kernels/fixed length record reader op. cc) 


* tf.TextLineReader (代码 位 于 kernels/text line reader op.cc) 


























141 


你 可 以 看 到 这 些 读 写 器 的 界面 是 一 样 的 ， 唯 一 的 差异 是 在 它们 的 构造 函数 中 。 最 重要 的 方法 是 Read. 它 需 要 一 
个 行列 参数 ， 通 过 这 个 行列 参数 ， 可 以 在 需要 的 时 候 随 时 读 取 文件 名 (例如 :” 当 Read 0p 首 次 运行 ， 或 者 前 一 个 






































Read ”从 一 个 文件 中 读 取 最 后 一 条 记录 时 ) 。 它 将 会 生成 两 个 标量 张 量 : 一 个 字符 串 和 一 个 字符 串 关键 值 。 











新 创建 一 个 名 为 SomeReader 的 读 写 器 ， 需 要 以 下 步 又 : 





1. 在 C++ 中 ， 定 义 一 个 tensorflow: :ReaderBase 的 子 类 ， 命 名 为 “SomeReader”. 
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2. 在 C++ 中 ， 注 册 一 个 新 的 读 写 器 0p 和 Kerne1， 命 名 为 “SomeReader  。 














3， 在 Python 中， 定义 一 个 tf. ReaderBase 的 子 类 ， 命 名 为 “SomeReader 。 











你 可 以 把 所 有 的 C++ 代码 放 在 tensorflow/core/user ops/some reader op.cc 文件 中 ， 读 取 文 件 的 代码 将 被 插入 














到 C++ 的 ReaderBase 类 的 迭代 中 。 这 个 ReaderBase 类 是 在 tensorflow/core/kernels/reader base.h 中 定 


义 的 。 你 需要 执行 以 下 的 方法 : 











。 OnWorkStartedLocked: 打开 下 一 个 文件 





* ReadLocked: 读 取 一 个 记录 或 报告 EOF/error 





。 OnWorkFinishedLocked: 关闭 当前 文件 


e ResetLocked: 清空 记录 ， 例 如 : 一 个 错误 记录 





























以 上 这 些 方法 的 名 字 后 面 都 带 有 “Locked”， 表示 ReaderBase 在 调用 任何 一 个 方法 之 前 确保 获得 互 斥 锁 ， 这 样 
全 《虽然 上 只 保护 了 该 类 中 的 元 素 而 不 是 全 局 的 ) 。 


























对 于 0nWorkStartedLocked， 需 要 打开 的 文件 名 是 current workO 函数 的 返回 值 。 此 时 的 ReadLocked 的 数字 
签名 如 下 : 








Status ReadLocked(stringk key, string* value, bool* produced, bool* at end) 


如 果 ReadLocked 从 文件 中 成 功 读 取 了 一 条 记录 ， 它 将 更 新 为 : 

















i 
过 











* key: ”记录 的 标志 位 ， 通 过 该 标志 位 可 以 重新 定位 到 该 记录 。 可 以 包含 从 current workO 返回 值 获得 
文件 名 ， 并 追加 一 个 记录 号 或 其 他 信息 。 



































* x*value: 包含 记录 的 内 容 。 


e xXproduced: ”设置 为 true. 




















MZ, 1] 


当 你 在 文件 EOF) 末尾 ， 设 置 *at end Jy true ， 在 任何 情况 下 ， 都 将 返回 Status::0K()。 当 出 现 错误 的 时 


候 ， 只 需要 使 用 tensorflow/core/lib/core/errors.h 中 的 一 个 辅助 功能 就 可 以 简单 地 返回 ， 不 需要 做 任何 参数 


修改 。 





































































































接 下 来 你 讲 创建 一 个 实际 的 读 写 器 0p。 如 果 你 已 经 熟悉 了 添加 新 的 Op 那 会 很 有 帮助 。 主要 步骤 如 下 : 





。 注册 0p。 








。 定义 并 注册 0pKernel。 




















要 注册 0p， 你 需要 用 到 一 个 调用 指令 定义 在 tensorflow/core/framework/op.h 中 的 REGISTER_OP。 
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t 运作 方式 | 143 


























读 写 器 Op WAMA, RA Ref(string) 类 型 的 单 输出 。 它 们 调用 SetIsStateful () ， 并 有 一 个 container 字 





re/ops/io ops. cc 等 ; 


#include “tensorflow/core/framework/op.h 











符 串 和 shared name 属性 ， 你 可 以 在 一 个 Doc 中 定义 配置 或 包含 文档 的 额外 属性 。 例如 : 详 见 tensorflow/co 




















^" 


REGISTER OP (^TextLineReader^) 
. Output (reader handle: Ref(string)^) 


.Attr( skip header 


lines: simt = 0) 


Are omanmen es ie = n) 


. Attr (“shared name: 


. SetIsStateful () 
. Doc (R^ doc ( 


string = ^) 


A Reader that outputs the lines of a file delimited by Na . 


doe); 





要 定义 一 个 OpKernel, 








读 写 器 可 以 使 用 定义 在 tensorflow/core/framework/reader op kernel.h 中 的 ReaderOp 











Kernel 的 递减 快捷 方式 ， 








并 运行 一 个 叫 SetReaderFactory 的 构造 函数 。 定义 所 需要 的 类 之 后 ， 你 需要 通过 RE 











GISTER KERNEL BUILDER(C...) 注册 这 个 类 。 


一 个 没有 属性 的 例子 : 


&include “tensorflow/core/framework/reader op kernel.h^ 


class TFRecordReaderOp : 


public: 


public ReaderOpKernel { 


explicit TFRecordReaderOp (OpKernelConstruction* context) 


: ReaderOpKernel(context) { 


Env* env = context-^env(); 
SetReaderFactory([this, env]( { return new TFRecordReader(name(), env); )); 


} 
J; 


REGISTER KERNEL BUILDER (Name (“TFRecordReader”). Device (DEVICE_CPU) 


一 个 带 有 属性 的 例子 : 


TFRecordReaderOp) ; 


&include "tensorflow/core/framework/reader op kernel. h” 


class TextLineReaderOp : public ReaderOpKernel { 


public: 


explicit TextLineReaderOp (OpKernelConstruction* context) 


: ReaderOpKernel(context) { 


int skip header lines - -1; 
OP REQUIRES OK(context 
context-»GetAttr( skip header lines^, &skip header lines)); 


OP REQUIRES(context, skip header lines >= 0, 
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[ 
Af 


^" 


errors::InvalidArgument (lCskip header lines must be >= 0 not 
skip header lines)); 
Env* env = context-»env ; 
SetReaderFactory ([this, skip header lines, env]O { 
return new TextLineReader(name(), skip header lines, env); 
DE 
} 
Ir 
REGISTER KERNEL BUILDER (Name ("TextLineReader^). Device (DEVICE CPU) 
TextLineReaderOp); 





最 后 一 步 是 添加 Python 包装 器 ， 你 需要 将 tensorflow.python.ops.io ops 导入 到 tensorflow/python/user o 


ps/user ops. by， 并 添加 一 个 io ops. ReaderBase 的 衍生 函数 。 





from tensorflow. python. framework import ops 
from tensorflow.python.ops import common shapes 
from tensorflow.python.ops import io ops 
class SomeReader(io ops. ReaderBase): 
def | init (self, name-None): 
Ir = gen user ops. some reader (name-name) 
super(SomeReader, self). init (rr) 
ops. NoGradient ("SomeReader^) 


ops. RegisterShape ('SomeReader") (common shapes. scalar shape) 


你 可 以 在 tensorflow/python/ops/io ops. py 中 查看 一 些 范例 。 








编写 一 个 记录 格式 0p 





一 般 来 说 ， 这 是 一 个 普通 的 0p， 需要 一 个 标量 字符 串 记 录 作为 输入 ， 因此 遵循 添加 Op 的 说 明 。 你 可 以 选择 一 
个 标量 字符 串 作为 输入 ， 并 包含 在 错误 消息 中 报告 不 正确 的 格式 化 数据 。 






























































用 于 解码 记录 的 运算 实例 : 


* tf.parse single example (and tf.parse example) 
* tf.decode csv 


* tf.decode raw 








请 注意 ， 使 用 多 个 0p 来 解码 某 个 特定 的 记录 格式 也 是 有 效 的 。 例如 ， 你 有 一 张 以 字符 串 格 式 保 存在 tf. train. E 
xample 协议 绥 冲 区 的 图 像 文件 。 根据 该 图 像 的 格式 ， 你 可 能 从 tf.parse single example 的 0p BEHU MHA H 
并 调用 tf.decode jpeg, tf.decode png, 或 者 tf. decode_raw。 通 过 读 取 tf. decode_raw 的 响应 输出 并 使 用 
tf. slice 和 tf. reshape 来 提取 数据 是 通用 的 方法 。 























ES 
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原文 : Custom Data Readers 翻译 : @derekshang 校对 : Wiki 
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使 用 GPUs 


| 支持 的 设备 


strin 


pn 








在 一 套 标准 的 系统 上 通常 有 多 个 计算 设备 .TensorFlow 支持 CPU 和 GPU 这 两 种 设备 ， 我 们 用 指定 字符 
gs 来 标识 这 些 设备 ， 比 如 : 





e "/cpu:0^ : 机 器 中 的 CPU 


e ”/gpu:0” : 机 器 中 的 GPU， 如 果 你 有 一 个 上 


cr 
5i 














e "/gpu:l^ : 机 器 中 的 第 二 个 GPU， 以 此 类 推 . . 











如 果 一 个 TensorFlow 的 operation 中 兼 有 CPU 和 GPU 的 实现 ， 当 这 个 算 子 被 指派 设备 时 ，GPU 有 优先 权 . HE 
如 matmul 中 CPU 和 GPU kernel 函数 都 存在 ， 那 么 在 cpu:0 和 gpu:0 中 ， matmul operation 会 被 指派 给 

















gpu:0 


| 记录 设备 指派 情况 








为 了 获取 你 的 operations 和 Tensor 被 指派 到 哪个 设备 上 运行 ， 用 log device placement 新 建 一 个 sessio 
n ， 并 设置 为 True. 








# 新 建 一 个 graph. 


coo 
| 


= tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape-[2, 3], name-'a&') 
= tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape-[3, 2], name= b’) 
c = tf.matmul(a, b) 

# 新 建 session with log device placement 并 设置 为 True 

sess = tf.Session(config-tf. ConfigProto(log device placement-True)) 

8 EPSA op. 


print sess. run(c) 





你 应 该 能 看 见 以 下 输出 : 


ES 


Device mapping: 
/ job: localhost/replica:0/task:0/gpu:0 > device: 0, name: Tesla K40c, pci bus 
id: 0000:05:00.0 
b: /job:localhost/replica:0/task:0/gpu:0 
a: / job:localhost/replica:0/task:0/gpu:0 
MatMul: /job:localhost/replica:0/task:0/gpu:0 
I 2 2] 
[ 49. 64.]] 
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| 手工 指派 设备 











如 果 你 不 
环境 ， 这 个 环境 下 的 operation 都 统一 运行 在 环境 指定 的 设备 上 . 








T 








# 新 建 一 个 graph. 

with tf. device( /cpu:0' ) : 
a= th COTON SEE VEL LO, 2.0 (0 LO 
5 Cone cane AO 2.0. $0 140 
= tf.matmul(a, b) 
# 新 建 session with log device placement 并 设置 为 True. 


shape-[2, 3] 


0], name=’ a') 
0], shape-[3, 2], 


MES 
6. nane b') 


5.0 
s mS. 


sess - tf.Session(config-tf. ConfigProto(log device placement-True)) 
8 运行 这 个 op 


print sess. run(c) 


t 





你 会 发 现 现 在 a 和 b 操作 都 被 指派 给 了 cpu:0. 
Device mapping: 
/ job: localhost/replica:0/task:0/gpu:0 -> device: 0, name: Tesla K40c, pci bus 
id: 0000:05:00.0 
b: /job:localhost/replica:0/task:0/cpu:0 
a: /job:localhost/replica:0/task:0/cpu:0 
MatMul: /job:localhost/replica:0/task:0/gpu:0 
U 2 2] 
[ 49. 64.]] 


| 在 多 GPU 系统 里 使 用 单一 GPU 





如 果 你 的 系统 里 有 多 个 GPU, WA 
声明 你 的 偏好 : 








# 新 建 一 个 graph. 


with tf. device( /gpu:2 ): 
on an 20 000 ae | 
b = 4E. constent LO 20. 90. 40. 0. (GEO, Ta 2] 
c - tf.matmul(a, b) 


# 新 建 session with log device placement Jf 


235 
nane a') 
nane b') 


! 


L eu 


EJ True. 


sess - tf.Session(config-tf. ConfigProto(log device placement-True)) 
CE op. 


print sess. run(c) 


如 果 你 指定 的 设备 不 存在 ， 你 会 收 到 ”InvalidArgumentError 错误 提示 : 
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\ 想 使 用 系统 来 为 operation 指派 设备 ， 而 是 手工 指派 设备 ， 你 可 以 用 with tf.device 创建 一 


ID 最 小 的 GPU 会 默认 使 用 . 如果 你 想 用 别 的 GPU， 





个 设备 





可 以 用 下 面 的 方法 显 式 的 














NN 
L JZE IN 

















InvalidArgumentError: Invalid argument: Cannot assign a device to node 'b': 
Could not satisfy explicit device specification '/gpu:2' 
[LNode: b = Const[dtype-DT FLOAT, value-Tensor&«type: float shape: [3,2] 
values 1 27 3.5.29  clewiese Ze 011 
为 了 避免 出 现 你 指定 的 设备 不 存在 这 种 情况 ， 你 可 以 在 创建 的 session 里 把 参数 allow soft placement 设置 


zx 


为 True, XXff tensorFlow 

















自动 选择 一 个 存在 并 























文 持 的 设备 来 运行 operation. 


# 新 建 一 个 graph. 

with tf. device( /gpu:2 ): 
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape-[2, 3], name-'a') 
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape-[3, 2], name-' b') 


- tf.matmul(a, b) 


# 新 建 


session with log devic 


e placement 并 设置 为 True. 


sess - tf. Session(config-tf. ConfigProto( 


allow soft placement-True, log device placement-True)) 
# 运行 这 个 op. 





print sess. run(c) 


| 使 用 多 个 GPU 



































如 果 你 想 让 TensorFlow 在 多 个 GPU 上 运行 ， 你 可 以 建立 multi-tower 结构 ， 在 这 个 结构 里 每 个 tower 分别 
被 指 配给 不 同 的 GPU 运行 ， 比如: 
# 新 建 一 个 graph. 
c= [] 
fo GL dim. | /aoe /ee ls 


with tf. device(d) : 


tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.01], shape-[2, 3]) 
tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape-[3, 2]) 
append (tf. matmul (a, b)) 

f. device /cpu:0' ) : 

sum — tf.add n(c) 


b = 


Ce 


with t 














# 新 建 session with log device placement 





WAN Irue. 


























sess = tf. Session (config=tf. ConfigProto(log device placement-True)) 
# 运行 这 个 op. 


print sess. run (sum) 


你 会 看 到 如 下 输 





EE 


Device mapping: 


/ job: localhost/replica:0/task:0/gpu:0 -> device: 0, name: Tesla K20m, pci bus 
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id: 
/ job: localhost/rep 


lil 


ie 


/job:localhost/rep 





id: 
Const 3: /job:loca 
Const 2: /job:loca 


/ job: localhost/rep 


0000:02:00. 0 


0000:03:00. 0 


0000:83:00. 0 


0000:84:00. 0 


ica:0/task:0/gpu:l -? device: 1, name: Tesla K20m, pci bus 


ica:0/task:0/gpu:2 -?» device: 2, name: Tesla K20m, pci bus 


ica:0/task:0/gpu:3 -?» device: 3, name: Tesla K20m, pci bus 


host/replica:0/task:0/gpu:3 
host/replica:0/task:0/gpu:3 


MatMul 1: /job:localhost/replica:0/task:0/gpu:3 


(COD SEU AO DM OG d) 





host/replica:0/task:0/gpu:2 


Const: /job:localhost/replica:0/task:0/gpu:2 


MatMul: /job: 


ocalhost/replica:0/task:0/gpu:2 


AddN: /job:localhost/replica:0/task:0/cpu:0 


LE 
[ 


cif 


44.  56.] 
98. 128.1] 








arl0 tutorial 这 个 例子 很 好 的 演示 了 怎样 用 GPU 集群 训练 . 





原文 : [using gpuhref-"http://tensorflow. org/how tos/using gpu/index. md”) 翻译 :@lianghyv 校对 
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Wiki 














IU 


lk 























| 











你 可 以 在 怎么 使 用 变量 中 所 描述 的 方式 来 创建 ， 初 始 化 ， 保 存 及 加 载 单一 的 变量 . 但 是 当 创建 复杂 的 模块 时 ， 通 常 
你 需要 共享 大 量变 量 集 并 且 如 果 你 还 想 在 同一 个 地 方 初 始 化 这 所 有 的 变量 , 我 们 又 该 怎么 做 呢 . 本 教程 就 是 演示 如 
何 使 用 tf.variable scope) 和 tf. get variableO 两 个 方法 来 实现 这 一 点 . 















































| 问题 























页 



































假设 你 为 图 片 过 滤器 创建 了 一 个 简单 的 模块 ， 和 我 们 的 卷 积 神经 网 络 教程 模块 相似 , 但 是 这 里 包括 两 个 卷 积 (为 了 
简化 实例 这 里 只 有 两 个 ) . 如 果 你 仅 使 用 tf. Variable 变量 , 那么 你 的 模块 就 如 怎么 使 用 变量 里 面 所 解释 的 是 一 样 
的 模块 . 





















































def my image filter(input images): 
convl weights = tf. Variable(tf. random normal([5, 5, 32, 32]), 
name-^convl weights") 
convl biases = tf. Variable(tf.zeros([32]), name-"convl biases^) 
convl - tf.nn.conv2d(input images, convl weights, 
strides-[1, 1, 1, 1], padding-' SAME') 
relul = tf.nn.relu(convl + convl biases) 


conv2 weights - tf. Variable(tf. random normal([5, 5, 32, 32]), 
name-"conv2 weights") 
conv2 biases = tf. Variable (tf. zeros ([32]), name-^conv2 biases^) 
conv2 - tf.nn.conv2d(relul, conv2 weights 
strides-[1, 1, 1, 1], padding-' SAME ) 
return tf.nn.relu(conv2 + conv2 biases) 














你 很 容易 想到 ， 模 块 集 很 快 就 比 一 个 模块 变 得 更 为 复杂 ， 仅 在 这 里 我 们 就 有 了 四 个 不 同 的 变量 : convi weight 

s ，convl biases, conv2 weights, l conv2 biases. 当 我 们 想 重 用 这 个 模块 时 间 题 还 在 增多 . 假设 你 想 把 你 的 
图 片 过 滤器 运用 到 两 张 不 同 的 图 片 ， imagel 和 image2 . 你 想 通 过 拥有 同一 个 参数 的 同一 个 过 滤器 来 过 滤 两 张 图 
片 ， 你 可 以 调用 my_image filter) 两 次 ， 但 是 这 会 产生 两 组 变量 . 



























































# First call creates one set of variables. 


resultl - my image filter(imagel) 
8 Another set is created in the second call. 


result2 = my image filter(image2) 





























通常 共享 变量 的 方法 就 是 在 单独 的 代码 块 中 来 创建 他 们 并 且 通 过 使 用 他 们 的 函数 . 如 使 用 字典 的 例子 : 


























variables dict = { 
"convl weights^: tf. Variable(tf. random normall lb 5, 32, 32]) 
name-"convl weights") 
"convl biases”: tf.Variable(tf. zeros([32]), name= convl biases^) 
Re 
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def my image filter(input images, variables dict): 
convl = tf.nn.conv2d(input images, variables dict[ convl weights "], 
strides-[1, 1, 1, 1], padding-' SAME ) 
relul = tf.nn.relu(convl + variables dict["convl biases^]) 


conv2 = tf.nn.conv2d(relul, variables dict[^conv2 weights], 
strides-[1, 1, 1, 1], padding-' SAME ) 
return tf.nn.relu(conv2 + variables dict["conv2 biases"]) 


4 The 2 calls to my image filter() now use the same variables 


resultl - my image filter(imagel, variables dict) 
result2 - my image filter(image2, variables dict) 





FAR SEE EAIA S GU EAE cT RT ERU. (HEIC BEEM SZ PRACT OBERE: 
































- 在 构建 试图 的 代码 中 标明 变量 的 名 字 ， 类 型 ， 形 状 来 创建 




















。 当代 码 改 变 了 ， 调 用 的 地 方 也 许 就 会 产生 或 多 或 少 或 不 同类 型 的 变量 








E 
所 


解决 此 类 问题 的 方法 之 一 就 是 使 用 类 来 创建 模块 ， 在 需要 的 地 方 使 用 类 来 小 心地 管理 他 们 需要 的 变量 ， 一 个 更 高 
明 的 做 法 , 不 用 调用 类 ， 而 是 利用 TensorFlow Ek T ZEAR 机 制 ， 当 构建 一 个 视图 时 , 很 容易 就 可 以 共享 命 
名 过 的 变量 . 













































































变量 作用 域 实例 





Hi 








在 TensorFlow 中 主要 由 两 部 分 组 成 : 








c 


aic fe HIE 























I 


e tf.get variable(€Xname?, «shape», «initializer») : 通过 所 给 的 名 字 创 建 或 是 返回 一 个 变量 . 

















Imi 








E. 5 


。 tf.variable scope(Xscope name») : 通过 tf.get variable 为 变量 名 指定 命名 空间 . 



































方法 tf.get variableO 用 来 获取 或 创建 一 个 变量 ， 而 不 是 直接 调用 tf. Variable . 它 采 用 的 不 是 像 tf. Variabl 
e 这 样 直接 获取 值 来 初始 化 的 方法 . 一 个 初始 化 就 是 一 个 方法 ， 创 建 其 形状 并 且 为 这 个 形状 提供 一 个 张 量 . 这 里 有 一 
些 在 TensorFlow 中 使 用 的 初始 化 变量 ; 






























































ju 

















e tf.constant initializer(value) 初始 化 一 切 所 提供 的 值 ， 


e tf.random uniform initializer(a, b) 从 a 到 b 均 匀 初 始 化 ， 




















e tf.random normal initializer(mean, stddev) 用 所 给 平均 值 和 标准 差 初始 化 均匀 分 布 . 



































HT THE tf. get_variable() 怎么 解决 前 面 所 讨论 的 问题 , 让 我 们 在 单独 的 方法 里 面 创 建 一 个 卷 积 来 重 构 一 下 代 


1, MAX conv relu : 








def conv relu(input, kernel shape, bias shape): 
& Create variable named "weights". 
weights = tf. get variable( weights", kernel shape, 
initializer-tf.random normal initializer()) 
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# Create variable named "biases^. 

biases = tf. get variable( biases^, bias shape 
initializer-tf.constant intializer(0.0)) 

conv = tf.nn.conv2d(input, weights 
strides-[1, 1, 1, 1], padding-' SAME ) 

return tf.nn.relu(conv + biases) 
















































































这 个 方法 中 用 了 “weights” 和 “biases” 两 个 简称 . 而 我 们 更 偏向 于 用 convi 和 ”conv2 这 两 个 变量 的 写法 , 但 是 
不 同 的 变量 需要 不 同 的 名 字 . 这 就 是 tf.variable scopeO ”变量 起 作用 的 地 方 . 他 为 变量 指定 了 相应 的 命名 空间 . 
def my image filter(input images): 
with tf. variable scope( convl”): 
& Variables created here will be named ^convl/weights", "convl/biases". 
relul = conv relu(input images, [5, 5, 32, 32], [32]) 
with tf. variable scope ("conv2^): 
& Variables created here will be named ^conv2/weights", “conv2/biases 
return conv relu(relul, [5, 5, 32, 32], [32]) 
现在 ， 让 我 们 看 看 当 我 们 调用 my image filter OO — 两 次 时 究竟 会 发 生 了 什么 . 
resultl = my image filter(imagel) 
result2 = my image filter(image2) 
# Raises ValueError(... convl/weights already exists ...) 
就 像 你 看 见 的 一 样 ， tf.get variableO 会 检测 已 经 存在 的 变量 是 否 已 经 共享 . 如 果 你 想 共 享 他 们 ， 你 需要 像 下 面 
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使 用 的 一 样 ， 通 过 reuse variables O. 这 个 方法 来 指定 . 
with tf.variable scope( “image filters”) as scope: 
resultl = my image filter(imagel) 

scope.reuse variables() 


result2 = my image filter(image2) 





EL 
TE 














T 





用 这 种 方式 来 共享 变量 是 非常 好 的 ， 级 而 日 


T 
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变量 作用 域 是 怎么 工作 的 


理解 tf. get variableO 





为 了 理解 变量 作用 域 ， 首 先 完全 理解 tf. get_variable() 是 怎么 了 
的 . 











f. get variable 


v = tf.get variable(name, shape, dtype, initializer) 











LAE] ZEUG DEED. 8 28 ROT TCU 





FH t 











此 调用 做 了 有 关 作 用 域 的 两 件 事 中 的 其 中 之 一 ， 方 法 调 入 . 总 的 有 两 种 情况 . 
。 情况 1: 当 tf. get variable scope().reuse == False 时 ， 作 用 域 就 是 为 创 如 
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新 变量 所 设置 的 . 











ü p 


这 种 情况 下 ， v 将 通过 tf. Variable 所 提供 的 形状 和 数据 类 型 来 重新 创建 . 创建 变量 



































名 + 所 提供 的 名 字 所 组 成 , 并 且 还 会 检查 来 确保 没有 任何 变量 使 用 这 个 全 称 . 如 果 这 个 全 称 已 经 有 一 个 变量 使 用 



























































& 运作 方式 














的 全 称 将 会 由 当前 变量 作用 域 

















了 ， 那 么 方法 将 会 抛 出 ValueError 错误 . 如 果 一 个 变量 被 创建 , 他 将 会 用 initializer(shape) 进行 初始 化 . 比如 : 


with tf. variable scope( foo"): 
w c ter weise ^w. I 
assert v.name = ^foo/v:0^ 


。 情况 1: 当 tf.get variable scope(.reuse == True 时 ， 作 用 域 是 为 重用 变量 所 设置 






























































这 种 情况 下 ， 调 用 就 会 搜索 一 个 已 经 存在 的 变量 ， 他 的 全 称 和 当前 变量 的 作用 域名 + 所 提供 的 名 字 是 否 相 等 . 如 果 








H 


不 存在 相应 的 变量 ， 就 会 抛 出 ValueBrror 错 








with tf. variable scope(" foo"): 
y = b.e a I 


with tf. variable scope Foo reuse-True): 


wb = BRE, get roriaolel y n, LU 
assert vl = v 


tf.variable scope() 基础 

















yx. 如 果 变 量 找到 了 ， 就 返回 这 个 变量 . 

















如 下 


知道 tf. get_variable() 是 怎么 工作 的 , 使 得 理解 变量 作用 域 变 得 很 容易 . 变量 作用 域 的 主 方法 带 有 一 个 名 称 ， 它 将 





























会 作为 前 级 用 于 变量 名 , 并 且 带 有 一 个 重用 标签 来 区 分 以 上 的 两 种 情况 . 嵌 套 的 作用 域 














目录 的 规则 很 类 似 : 


with tf. variable scope(" foo"): 
with tf.variable scope( bar"): 
v = tf.get variable( v^, [1]) 
assert v.name = "^foo/bar/v:0^ 








eO.reuse variables() 设置 为 True 





with tf. variable scope( foo"): 
v= tf.get variable( v^, [1]) 














当前 变量 作用 域 可 以 用 tf.get variable scope 0 进行 检索 并 且 reuse 标签 可 以 通过 


tf. get variable scope().reuse variables() 


"ou 


wil = ie get variebla sw. (Dp 
assert vl == v 





























注意 你 不 能 设置 reuse 标签 为 False . 其 中 的 原因 











附加 名 字 所 用 的 规则 和 文件 

















调用 tf.get variable scop 


就 是 允许 改写 创建 模块 的 方法 . 想 一 下 你 前 面 写 得 方法 my imag 
































e filter(inputs) .有 人 在 变量 作用 域内 调用 reuse-True 是 希望 所 有 内 部 变量 都 被 重 























制 执行 reuse=False ， 将 会 打破 内 部 结构 并 且 



































量 . 当 打 开 一 个 变量 作用 域 时 , 使 用 reuse=True 












































j 这 种 方法 使 得 很 难 再 共享 参数 . 














可 继承 . 所 以 当 你 打开 一 个 重用 变量 作用 域 ， 那 么 所 有 的 子 作 用 域 也 将 会 被 重用 . 
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J. 如 果 








大 











允许 在 方法 体内 强 





即使 你 不 能 直接 设置 reuse 为 False ,但 是 你 可 以 输入 一 个 重用 变量 作用 域 , 然后 就 释放 掉 , 就 成 为 非 重用 的 变 
作为 参数 是 可 以 的 但 也 要 注意 ， 同 一 


, reuse 参数 是 不 


with tf. variable scope( root^): 
4 At start, the scope is not reusing 
assert tf.get variable scope().reuse -- False 
with tf. variable scope( foo"): 
# Opened a sub-scope, still not reusing. 
assert tf.get variable scope().reuse -- False 
with tf. variable scope( foo^, reuse-True): 
8 Explicitly opened a reusing scope 
assert tf.get variable scope().reuse == True 
with tf. variable scope( bar"): 
8 Now sub-scope inherits the reuse flag. 








assert tf.get variable scope().reuse -- True 
8 Exited the reusing scope, back to a non-reusing one 
assert tf.get variable scope().reuse == False 
pE. 
获取 变量 作用 域 











> 





在 上 面 的 所 有 例子 中 ， 我 们 共享 参数 只 因为 他 们 的 名 字 是 一 致 的 ， 那 是 因为 我 们 开启 一 个 变量 作用 域 重用 时 刚好 
用 了 同一 个 字符 串 . 在 更 复杂 的 情况 ， 他 可 以 通过 变量 作用 域 对 象 来 使 用 ， 而 不 是 通过 依赖 于 右边 的 名 字 来 使 
用 .为 此 , 变量 作用 域 可 以 被 获取 并 使 用 ， 而 不 是 仅 作为 当 开 局 一 个 新 的 变量 作用 域 的 名 字 . 






























































with tf. variable scope( foo as foo scope: 
v= dfe variabilei [D 
with tf. variable scope(foo scope) 
v= tf.get variable( w^, [1]) 
with tf.variable scope(foo scope, reuse-True) 


wil — te cen wewelelke w^. IL 





wl = tf.get variable( w^, [1]) 
assert vl == v 
assert wl == w 





当 开 局 一 个 变量 作用 域 ， 使 用 一 个 预先 已 经 存在 的 作用 域 时 ， 我 们 会 跳 过 当前 变量 作用 域 的 前 绥 而 直接 成 为 一 个 
完全 不 同 的 作用 域 . 这 就 是 我 们 做 得 完全 独立 的 地 方 . 




















pus 


with tf. variable scope( foo") as foo scope: 


assert foo scope.name == “foo” 








with tf. variable scope( bar") 
with tf. variable _scope (“baz”) as other scope: 
assert other scope.name == "bar/baz^ 
with tf. variable scope(foo scope) as foo scope2: 
assert foo scope2.name == “foo” # Not changed. 
变量 作用 域 中 的 初始 化 器 
































使 用 tf.get variableO 允许 你 重 写 方法 来 创建 或 者 重用 变量 , 并 且 可 以 被 外 部 透明 调用 . 但 是 如 果 我 们 想 改 变 创建 
变量 的 初始 化 器 那 要 怎么 做 呢 ? 是 否 我 们 需要 为 所 有 的 创建 变量 方法 传递 一 个 额外 的 参数 呢 ? 那 在 大 多 数 情况 
下 ， 当 我 们 想 在 一 个 地 方 并 且 为 所 有 的 方法 的 所 有 的 变量 设置 一 个 默认 初始 化 器 ， 那 又 改 怎么 做 呢 ? 为 了 解决 这 
些 问 题 ， 变 量 作用 域 可 以 携带 一 个 默认 的 初始 化 器 . 他 可 以 被 子 作 用 域 继承 并 传递 给 tf.get variableO ”调用 .但 
是 如 果 其 他 初始 化 器 被 明确 地 指定 , 那么 他 将 会 被 重 写 . 
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with tf. variable scope( foo^, initializer-tf. constant initializer(0.4)): 
v - tf.get variable( v^, [1]) 


assert v. eval() == 0.4 # Default initializer as set above. 
v- tf.get variable( w^, [1], initializer-tf.constant initializer (0. 3)): 
assert w.eval() == 0.3 # Specific initializer overrides the default. 


with tf. variable | 
v= ti gei variabla l v DID 











assert v.eval() -- 0.4 E nherited default initializer. 
with tf. variable scope( ba initializer-tf. constant initializer(0.2)): 
= tf.get variable( v^, [1]) 
assert v. eval() - EDA & Changed default initializer. 


在 tf. variable scope() 中 ops 的 名 称 











我 们 讨论 tf.variable scope 怎么 处 理 变量 的 名 字 . 但 是 又 是 如 何在 作用 域 中 影响 到 其 他 ops 的 名 字 的 呢 ? ops 在 
一 个 变量 作用 域 的 内 部 创建 ， 那 么 他 应 该 是 共享 他 的 名 字 ， 这 是 很 自然 的 想法 . 出 于 这 样 的 原因 ， 当 我 们 用 with t 
f.variable _scope (“name”) 时 ， 这 就 间接 地 开启 了 一 个 tf. name_scope (nane“) .比如 : 















































with tf. variable scope( foo"): 
z= dh aa weensele(w. LL 
assert x.op.name = "foo/add" 


E 


名 称 作用 域 可 以 被 开启 并 添加 到 一 个 变量 作用 域 中 , 然后 他 们 只 会 影响 到 ops 的 名 称 , 而 不 会 影响 到 变量 . 





ig 














with tf. variable scope( foo"): 
with tf.name scope(^bar^): 
v= i eet variable v o MIN 
S O E y 
assert v.name -- ^foo/v:0^ 
assert x.op.name == ^foo/bar/add" 


A 





pum 


| 


去 开启 一 个 变量 作用 域 时 ， 我 们 就 不 会 为 ops 改 变 当 前 的 名 称 作 用 域 . 








当 用 一 个 引用 对 象 而 不 是 一 个 字符 








使 用 实例 




















这 里 有 一 些 指 向 怎么 使 用 变量 作用 域 的 文件 . 特别 是 ， 他 被 大 量 用 于 时 间 递 归 神 经 网 络 和 sequence-to-sequence 
模型 ， 














File | What's in it? —- | 一 - models/image/cifarlO.py | 图 像 中 检测 对 和 象 的 模型 models/rnn/rnn cell. p 
才 间 递归 神经 网 络 的 元 方法 集 . models/rnn/seq2seq. py | 为 创建 sequence-to-sequence 模型 的 方法 集 ， 原 
X: [Sharing Variableshref=”http://www. tensorflow. org/how tos/variable scope/index.md") 翻译 : nb312 


BP: Wiki 





(n 
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| TensorFlow 白皮书 





在 这 份 白皮书 里 ， 你 可 以 找到 关于 TensorFlow 编程 模型 的 更 多 详情 和 TensorFlow 的 实现 原理 。 

















* TensorFlow: Large-scale machine learning on heterogeneous systems 


引用 





























如 果 你 在 你 的 研究 中 使 用 了 TensorFlow， 并 且 和 希望 在 引用 中 注 记 TensorFlow， 我 们 建议 你 引用 上 面 这 篇 论 
文 。 你 可 以 使 用 这 个 BibTeX 目录 。 随 着 项 目的 继续 发 展 ， 我 们 还 会 在 这 个 建议 引用 列表 添加 新 的 论文 。 












































| 社区 
讨论 


。 GitHub 
。 Stack Overflow 


。 TensorFlow 讨论 邮件 列表 





报告 Issues 


。 TensorFlow issues 


开发 


。 如 果 你 有 兴趣 为 TensorFlow 贡献 代码 请 [阅读 这 篇 代码 贡献 指南 href=“https://github. com/tensorflow/t 
ensorflow/blob/master/CONTRIBUTING. md^) . 


原文 : [http://tensorflow. org/resources/bib. mdhref-"http://tensorflow. org/resources/bib. md") 
翻译 : Jim-Zenn 


校对 : lonlonago 
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BibTex 引用 














如 果 你 在 研究 中 使 用 了 TensorFlow, 











@misc {tensorflow2015-whitepaper., 

















| 希望 引用 TensorFlow 系 统 。 我 们 由 





E 议 你 引用 一 下 


title={{TensorFlow}: Large-Scale Machine Learning on Heterogeneous Systems], 


url- (http: //tensorflow. org/] 


note-(Software available from tensorflow. org], 


author={ 
MartV {\i}n Abadi and 
Ashish Agarwal and 
Paul Barham and 
Eugene Brevdo and 
Zhifeng Chen and 
Craig Citro and 
Greg S. Corrado and 
Andy Davis and 
Jeffrey Dean and 
Matthieu Devin and 
Sanjay Ghemawat and 
Ian" Goodfellow and 
Andrew Harp and 
Geoffrey Irving and 
Michael^Isard and 
Yangging Jia and 
Rafal^Jozefowicz and 
Lukasz Kaiser and 
Manjunath Kudlur and 
Josh Levenberg and 
Dan^ManV {e} and 
Rajat Monga and 





Sherry Moore and 
Derek Murray and 
Chris Olah and 

Mike Schuster and 
Jonathon Shlens and 
Benoit Steiner and 
Ilya^Sutskever and 
Kunal Talwar and 
Paul^Tucker and 
Vincent Vanhoucke and 
Vijay Vasudevan and 


Fernanda ViV {e}gas and 
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白皮书 。 





Oriol Vinyals and 

Pete Warden and 

Martin Wattenberg and 

Martin Wicke and 

Yuan Yu and 

Xiaogiang Zheng), 
year- (2015), 


文本 形式 如 下 : 


Martin Abadi, Ashish Agarwal, Pau 
Zhifeng Chen, Craig mo Greg S 
Jeffrey Dean, Matthieu Devin, San 
Andrew Harp, Geoffrey Irving, Mic 


l Barham, Eugene Brevdo 


. Corrado, Andy Davis 


jay Ghemawat, lan Goodfellow, 


hael Isard, Rafal Jozefowicz, Yangqing Jia 


Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg, Dan Mané, Mike Schuster, 


Rajat Monga, Sherry Moore, Derek 
Benoit Steiner, Ilya Sutskever, K 
Vincent Vanhoucke, Vijay Vasudeva 
Oriol Vinyals, Pete Warden, Marti 


Yuan Yu, and Xiaoqiang Zheng. 


urray, Chris Olah, Jonathon Shlens 
unal Talwar, Paul Tucker, 


n, Fernanda Viégas, 








n Wattenberg, Martin Wicke 


TensorFlow: Large-scale machine learning on heterogeneous systems, 


2015. Software available from tensorflow. org 


原文 : http://tensorflow. org/resources/bib.md 翻译 : Jim-Zenn 校对 : 
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Wiki 


本 页 介绍 了 一 些 TensorFlow 系统 当前 在 实际 中 的 应 用 。 








如 果 您 在 做 研究 、 教 育 、 或 在 某 些 产品 中 正在 使 用 TensorFlow， 我 们 非常 乐意 在 这 里 添加 一 些 有 关 您 的 使 用 情 
况 。 请 随时 给 我 们 发 电子 邮件 简要 说 明 您 是 如 何 使 用 TensorFlow 的 ， 或 者 给 我 们 发 pull request 来 添加 一 个 


条 目 到 本 文件 。 





下 面 列 出 了 一 些 TensorFlow 的 用 途 。 


。 RankBrain 


。 组 织 : Google 


。 域名 : Information Retrieval 























。 描述 : 对 www. google. com 搜 索 排 名 大 规模 部 署 的 深层 神经 网 络 。 








。 更 多 信息 :“Google Turning Over Its Lucrative Search to AI Machines” 


e Inception Image Classification Model 


* 组 织 : Google 














。 描述 : 研究 高 精确 的 计算 机 视觉 模型 ， 赢得 了 2014 年 Imagenet 图 像 分 类 的 挑战 (ILSVRC 2014) 








。 更 多 信息 : 关于 Baseline model 的 描述 Arxiv paper 


* SmartReply 


* 组 织 : Google 





。 描述 : 基于 深度 LSTM 模型 的 自动 生成 电子 邮件 





I 


E 














。 更 多 信息 : Google research blog post 


* Massively Multitask Networks for Drug Discovery 


* 组 织 : Google and Stanford University 


* 域名 : Drug discovery 

















。 描述 : 基于 深度 神经 网 络 模型 的 药物 探索 





。 更 多 信息 : Arxiv paper 


* On-Device Computer Vision for OCR 
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。 组 织 : Google 








。 描述 : 用 设备 内 置 的 计算 机 视觉 模型 来 做 “光学 字符 识别 ” 〈0CR) 以 实现 实时 翻译 。 














。 更 多 信息 : Google Research blog post 


原文 : [http://tensorflow. org/resources/uses. mdhref-"http://tensorflow. org/resources/uses. md") 


翻 译 :andyiac 


校 对 :1onlonago 
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此 文档 对 关于 TensorFlow 的 一 些 常 见 问题 提供 了 答案 ， 如 果 这 里 


常见 问题 


Variables (页 23) 

Tensor shapes (页 165) 
TensorBoard (页 166) 
扩展 TensorFlow (页 166) 


其 他 问题 (页 167) 


| 建立 TensorFlow graph 





参看 建立 graph 的 API 文档 . 


为 什么 c tf.matmul(a, b) 





ration) 结果 的 字符 别名 , 它 实 际 上 














KEN MAY 











执行 效率 高 的 多 。 


设备 是 如 何 命名 的 ? 


对 CPU 设 备 而 言 ， 支 持 的 设备 名 是 “/device:CPU:0% 


(或 


"/gpu:i^ ) 








建立 TensorFlow graph (页 162) 


运行 TensorFlow 计算 过 程 (Wi 163) 


不 立即 执行 矩阵 相 乘 ? 
在 TensorFlow 的 Python API 中 ， 


a, i, and Nc 








程 交 给 一 个 TensorFlow 的 Session, JE Session 可 以 运行 整个 计算 过 各 


(或 


结果 的 值 。 





社区 资源 中 找到 








都 是 Tensor 对 象 ， 一 个 Tensor 对 象 是 一 个 操作 (lope 
并 不 储存 操作 (operation) 输出 
经 网 络 及 其 梯度 ) 来 形成 data flow graph 。 


TensorFlow 鼓励 用 户 去 建立 复杂 的 





然后 你 可 以 将 整个 data flow graph 的 计算 过 


E 


E» 
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比 起 操作 (operations) 一 条 一 条 的 


^/cup:0" )， 对 第 i ^ GPU 设备 是 “/device:GPU:i” 


如 何在 指定 的 设备 上 运行 操作 (operations) ? 

在 with tf.device(name): context 中 创建 操作 (operation) ， 这 样 可 以 在 指定 的 设备 上 运行 操作 (operation). 
关于 TensorFlow 怎样 将 操作 (operations) 分 配给 设备 的 细节 ， 参 看 TensorFlow 使 用 GPU ; 使 用 多 GPU 的 示范 
实例 参看 CIFAR-10 教程 。 





















































可 用 的 tensor 有 哪些 不 同 的 类 型 ? 
TensorFlow 支持 许多 种 不 同 的 数据 类 型 和 tensor shape ， 更 多 细节 请 参看 ranks, shapes, and type referen 























ce 
| 运行 TensorFlow 计算 过 程 。 


参看 运行 graph 的 API 文档 . 


S 





请 详细 解释 feeding 和 placeholders? 

Feeding 是 TensorFlow Session API 的 一 种 机 制 ， 它 允许 你 在 运行 时 用 不 同 的 值 替 换 一 个 或 多 个 tensor 的 
fi. Session runO 的 参数 feed dict 是 一 个 字典 ， 它 将 Tensor 对 象 映射 为 numpy 的 数组 (和 一 些 其 他 
KAI) 。 在 执行 step 时 ， 这 些 数组 就 是 tensor 的 值 。 






































你 常会 碰 到 某 些 tensor 总 是 有 值 的 ， 比 如 inputs. tf.placeholder() 操作 (operation) 允许 你 定义 一 种 必须 
提供 值 的 tensor ， 你 也 可 以 随意 限定 它们 的 shape。 关 于 如 何 使 用 placelolders 和 feeding 为 神经 网 络 提供 
训练 数据 的 例子 ， 请 参看 初学 者 的 MNIST 教程 
































Session.run() 和 Tensor.evalO 有 什么 区 别 ? 
如 果 t 是 一 个 Tensor 对 象 ， teval() 就 是 sess.run(t)  ( sess 是 当前 默认 session) 的 简写 。 以 
下 两 段 小 程序 是 等 效 的 : 





# 使 用 Session.run() . 


sess — tf.Session() 
c — tf.constant(5. 0) 
print sess. run(c) 


# 使 用 Tensor.evalO . 
c — tf. constant (5. 0) 


with tf.Session(: 
print c. eval Q 








在 第 二 个 例子 中 ， session 的 作用 就 象 context manager , context manager YE with 块 的 生存 期 将 sess 
ion 作为 默认 的 session。 对 简单 应 用 的 情形 (如 单元 测试 ) context manager 的 方法 可 以 得 到 更 简洁 的 代 
码 ; ”如 果 你 的 代码 要 处 理 多 个 graph 和 session ， 更 直 白 的 方式 可 能 是 显 式 调 用 Session. run() o 
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Sessions 有 生存 期 吗 ? 调用 时 产生 的 tensors We? 
Session 能 够 占有 资源 ， 例 如 variables, queues, Ñ readers; 这 些 资源 会 使 用 相当 大 量 的 内 存 。 当 调 用 Sess 
ion.closeO 关闭 session 后 ， 这 些 资源 〈 和 相关 的 内 存 ) 就 被 释放 了 。 

















作为 调用 Session runO ”过 程 的 一 部 分 所 创建 的 tensors， 会 在 调用 时 或 调用 结束 前 释放 。 





我 可 以 在 多 个 计算 机 上 运行 分 布 式 的 训练 吗 ? 
最 初 的 TensorFlow 开源 版 本 支持 单一 计算 机 内 的 多 设备 CPUs 和 GPUs) 。 我 们 也 正在 致力 于 一 个 分 布 式 的 版 
本 : 如 果 你 有 兴趣 ， 请 告知 我 们 ， 这 样 我 们 可 以 做 相应 的 调整 。 























运行 时 会 并 行 计算 图 的 执行 的 各 个 部 分 (parts of graph execution) 吗 ? 


TensorFlow 运行 时 会 在 许多 不 同 的 层面 (dimensions) 并 行 图 的 执行 (graph execution): 












































。 在 一 个 CPU 中 用 多 核 或 是 一 个 GPU 中 用 多 线程 来 并 行 许多 单独 的 操作 (operation). 









































。 在 TensorFlow graph 中 各 个 独立 的 节点 可 以 在 多 个 设备 上 并 行 ， 这 样 就 提供 了 加 速 的 可 能 。CIFAR-10 用 多 
GPU 训练 . 









































e Session API 允许 并 行 执行 多 并 发 的 steps (如 调用 Session.run OO 。 如 果 单 一 的 step 不 使 用 你 计算 
机 中 所 有 的 资源 ， 这 种 方法 可 以 使 运行 时 有 更 高 的 知 吐 量 。 






































iml 








TensorFlow 支持 哪些 客户 端 编程 语言 ? 
TensorFlow 被 设计 成 为 支持 多 种 客户 端 语言 。 当 前 支持 最 好 的 客户 端 语言 是 Python. C++ 客户 端 API 提供 了 
启动 graph 和 运行 steps 的 接口 ; 我 们 还 有 一 个 用 C++ 建立 graph 的 API， 此 API 是 实验 性 的 。 


















































从 社区 的 利益 出 发 ， 我 们 想 要 支持 更 多 的 客户 端 语言 。 TensorFlow 有 一 个 基于 C 的 客户 端 API， 它 使 得 用 许 
多 不 同 的 语言 创建 客户 端 变 得 很 容易 。 我 们 请 大 家 在 新 语言 绑 定 上 做 出 努力 。 





























4 








TensorFlow 会 利用 我 计算 机 上 所 有 可 用 的 设备 (GPUs 和 CPUs) H3? 
TensorFlow 支持 多 GPU 和 CPU。 有 关 TensorFlow 如 何 将 操作 (operations) 分 配 到 设备 的 细节 请 参看 TensorF 
low 如 何 使 用 GPUs 的 文档 ， 有 关 使 用 多 GPU 的 示范 实例 请 参看 CIFAR-10 教程 



































zE 


请 注意 ， TensorFlow 只 使 用 计算 能 力 (compute capability) KF 3.5 的 GPU 设备 。 











当 使 用 一 个 reader 或 一 个 queue 时 ， 为 什么 ”Session. run() 会 挂 起 ? 

reader 类 和 queue 类 提供 特殊 的 操作 (operations)， 这 些 操作 (operations) 在 有 可 用 的 输入 (对 有 界 队 列 则 是 空 
WEEDS 妥 塞 。 使 用 这 些 操作 (operations) 你 可 以 创建 复杂 的 输入 流水 线 (input pipelines) ,不 过 ， 这 会 
使 TensorFlow 的 计算 过 程 更 复杂 。 有 关 如 何 使 用 这 些 操作 (operations) 的 更 多 信息 请 参看 how-to 文档 中 的 使 
用 QueueRunner 对 象 来 控制 queues 和 readers. 





zi 
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| Variables 





参看 Variables 和 变量 作用 域 的 how-to 文档 ， 还 有 关于 变量 的 API 文档 








变量 的 生存 期 是 ? 
在 某 一 session 中 ， 当 你 一 开始 运行 ”tf. Variable. initializer 操作 (operation) 时 ， 变 量 就 会 被 创建 。 此 se 


ssion 关闭 后 它 就 被 摧毁 (destroyed) T o 
































并 发 读 取 或 存 入 变量 时 会 是 什么 情况 ? 

变量 可 以 进行 并 发 的 读 和 写 操作 (operation) 。 由 于 变量 是 并 发 (concurrent1ly) 更 新 的 ， 所 以 从 一 个 变量 中 读 出 
的 值 可 能 会 改变 。 在 不 互 斥 的 条 件 下 ， 对 一 个 变量 的 并 发 的 许多 赋值 操作 (operation) 是 默认 允许 运行 的 。 在 对 一 
个 变量 赋值 时 ， 如 果 想 要 加 锁 ， 可 以 将 use lockingeTrue 传递 给 Variable.assignO 。 

























































































| Tensor Shapes 


参看 TensorShape API 文档 . 


在 Python 中 我 怎么 判断 一 个 tensor 的 shape ? 

在 TensorFlow 中 ， 一 个 tensor 具备 静态 和 动态 两 种 shape . Sf shape 可 以 用 tf. Tensor. get shape() 

方法 读 出 : 这 种 shape 是 由 此 tensor 在 创建 时 使 用 的 操作 (operations) 推导 得 出 的 ， 可 能 是 partially compl 
ete 的 。 如 果 静 态 shape 没有 完整 定义 (not fully defined) 的 话 ， 则 一 个 tensor 的 动态 shape 可 通过 求 t 

f. shape(t) 的 值得 到 。 

































































x.set shape() 和 x = tf.reshape(x) 有 什么 区 别 ? 
tf.Tensor.set shape() 方法 (method) 会 更 新 (updates) 一 个 Tensor 对 象 的 静态 shape ， 当 静态 shape 信息 
不 能 够 直接 推导 得 出 的 时 候 ， 此 方法 常用 来 提供 额外 的 shape 信息 。 它 不 改变 此 tensor 动态 shape 的 信息 。 

































































tf.reshapeO 操作 (operation) 会 以 不 同 的 动态 shape 创建 一 个 新 的 tensor. 


我 怎么 创建 这 样 一 个 graph ， 它 在 批 次 大 小 可 变 (variable batch sizes) 的 情形 下 也 可 以 正常 运作 ? 

如 果 能 够 创建 一 个 graph ， 在 批 次 大 小 可 变 (variable batch sizes) 的 情形 下 也 可 以 正常 运作 将 会 是 十 分 有 用 
的 ， 例 如 可 以 使 用 相同 的 代码 完成 〈 小 ) 批量 训练 (Amini-)batch training) 和 单 例 推导 (single-instance infer 
ence) 。 这 样 生成 的 graph 可 以 保存 起 来 当 作 协议 缓存 (protocol buffer)， 也 可 以 导入 至 其 他 的 程序 。 





















































创建 一 个 可 变 大 小 的 graph 时 ， 要 记 住 最 重要 的 事情 是 不 要 将 批 次 大 小 (batch size) 编码 成 为 Python 常数 ， 而 
是 用 一 个 字符 性 (symbolic) 的 Tensor 来 表示 。 下 面 的 提示 可 能 会 有 用 : 



































。 用 batch size = tf.shape(input)[0] 从 一 个 叫 input 的 Tensor 提取 批 次 的 维度 (batch dimentio 


n) ， 再 将 其 存 入 一 个 名 为 batch size 的 Tensor 。 
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* 用 tf.reduce mean) 而 不 是 tf.reduce sum(...) / batch size 。 


。 如 果 你 使 用 placeholders for feeding input， 你 就 可 以 用 tf.placeholder(..., shape-[None, ...]) 通 
过 创建 placeholder 来 具体 指定 一 个 可 变 的 批 次 维度 (variable batch dimention) 。shape 的 None 元 素 
与 可 变 大 小 的 维度 (a variable-sized dimension) 相对 应 。 



































| TensorBoard 


我 怎样 视觉 化 一 个 TensorFlow graph ? 
参看 graph 的 视觉 化 教程 





向 TensorBoard 发 送 数 据 的 最 简单 的 方法 是 什么 ? 
给 你 的 TensorFlow graph 增加 summary 操作 (ops)， 接 着 用 SummaryWriter 将 这 些 summaries 写 入 一 个 log 


directory。 然 后 用 以 下 命令 启动 TensorBoard 。 


"python tensorflow/tensorboard/tensorboard. py —-logdir=path/to/log-directory 








更 多 细节 请 参看 Summaries 和 TensorBoard 教程 。 














| 扩展 TensorFlow 


参看 有 关 疝 TensorFlow 添加 新 操作 (oprations) 的 how-to 文档 。 


我 的 数据 是 自 定 义 格 式 ， 要 怎样 用 TensorFlow 来 读 取 它 ? 
有 两 种 主要 的 操作 (operation) 来 处 理 自 定义 格式 的 数据 。 
































较 简单 的 方法 : 用 Python 编写 一 段 分 词 的 代码 (parsing code) ， 将 数据 转换 成 为 numpy array， 然 后 用 此 数据 
把 一 个 [ tf.placeholderO ] (./api docs/python/io ops. md#placeholder) 传送 给 一 个 tensor 。 更 多 的 细节 
参见 使 用 placeholders 进行 输入 的 相关 文档 。 这 个 方法 比较 容易 实现 ， 不 过 分 词 的 部 分 会 成 为 性 能 的 瓶颈 。 






































更 高 效 的 方法 是 添加 一 个 用 C++ 编写 的 操作 (op) ， 用 这 个 操作 (operation) 来 对 你 的 数据 格式 进行 分 词 (parse) 。 
新 数据 格式 处 理 指南 中 有 更 多 相关 步 又 的 信息 。 























我 如 何 定义 操作 (operation) 使 得 它 能 够 接受 可 变数 量 的 输入 ? 

TensorFlow 的 操作 (operation) 注 册 机 制 允许 你 定义 几 种 输入 : 单独 的 tensor， 一 列 相同 类 型 的 tensors (例如 
把 一 个 可 变 长 列表 中 的 tensors 相 加 ) ， 一 列 不 同类 型 的 tensors (例如 将 一 个 tuple 中 的 tensors 入 队 (enq 
ueue)) 。 有 关 怎 样 定义 这 些 不 同 的 输入 类 型 的 更 多 细节 ， 请 参看 添加 具有 一 列 输入 或 输出 的 操作 Cop) 的 相关 文 
Ri. 
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| 其 他 问题 


TensorFlow 能 使 用 Python 3 吗 ? 
我 们 只 用 Python 2.7 进行 了 测试 。 我 们 了 解 对 Python 3 的 兼容 性 来 说 ， 还 需要 有 一 些 修改 ， 欢 迎 大 家 朝 这 个 
方向 多 努力 。 

















TensorFlow 的 代码 风格 有 什么 规则 ? 
TensorFlow Python API 遵循 PEP8 惯例 。 * 特别 的 ， 我 们 使 用 CamelCase 格式 作为 类 名 ， snake case 格 
式 作 为 方程 名 ， 方法 名 ， 和 属性 名 。 我 们 也 遵循 Google Python style guide。 




















TensorFlow C++ 代码 遵循 Google C++ style guide。 

















E 有 一 条 例外 : 我 们 使 用 2 空格 缩 进而 不 是 4 空格 缩 进 ) 


原文 : [Frequently Asked Questionshref-"http://tensorflow. org/resources/faq.md") 翻译 : Terence Coope 


r BO: Wiki 
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术语 表 


广播 操作 (Broadcasting operation) 


一 种 用 numpy-style broadcasting 来 保证 tensor 人 参数 的 形态 兼容 的 操作 。 


Devices 


一 块 可 以 用 来 运算 并 


eval 


Tensor 的 一 个 方法 ， 返 








的 图 中 才能 调用 该 Tensor 值 。 

Feed 

TensorFlow 

时 候 创 建 ， 而 是 在 触发 图 的 执行 操作 时 去 申请 。 
为 run( ) 方 法 和 eval( ) 方 法 的 参数 来 初始 
RE. n 














拥有 



































Hi 的 地 址 空间 的 硬件 ， 





回 Tensor 的 值 。 触 发 任意 一 个 图 


的 一 个 概念 : 把 一 个 Tensor 直接 连接 到 一 个 会 话 图 表 中 的 任意 节点 。feed 不 是 在 构建 图 


























比如 GPU 和 CPU。 











计算 都 需要 计算 出 这 个 值 。 





在 一 个 已 经 启动 的 会 话 


26 
Ke 








(graph) 的 











一 个 feed 临时 替代 一 个 带 有 Tensor 值 的 节点 。 把 feed 数据 作 
化 运算 。 方 法 运行 结束 后 ， 蔡 换 的 feed 就 会 消 
可 以 通过 tf. placeholder ( ) 把 特定 的 节点 指定 为 feed 节点 来 创建 它们 。 详 见 [Basic Usagehref-"ht 























失 ， 而 最 初 的 节点 定义 

















tps://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/get started/basic usage. md"). 


Fetch 





TensorFlow 中 的 一 个 概念 : 为 了 取 


生 在 建立 











) 方 法 并 将 待 取 


TA 








的 时 候 。 如 果 要 取 








m/ jikexueyuanwiki/tensorflow-z 





上 表 作 为 参数 来 执行 图 


回 运算 操作 的 输出 结果 。 取 
回 一 个 或 多 个 节点 (node) 的 Tensor 值 ， 可 以 通过 在 Session 对 象 上 调 
回 节点 (node) HA 


























加 的 | 





请 发 生 在 触发 执行 图 





操作 的 时 候 ， 而 不 是 发 
用 run( 


表 (graph) 。 详 见 [Basic Usagehref-"https://github. co 














h/blob/master/SOURCE/get started/basic usage.md"). 
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Graph (图 ) 


把 运算 任务 描述 成 一 
表 数 据 或 者 可 控 的 依 
aphDef 可 以 转化 成 一 











个 直接 的 无 环 图 形 CDAGO ， 图 表 中 的 节点 (Gode) 代表 必须 要 实现 的 一 些 操 作 。 图 中 的 边 代 
赖 。GratheDef 是 系统 中 描述 一 个 图 表 的 协议 (api)， 它 由 一 个 NodeDefs 集合 组 成 。 一 个 Gr 
个 更 容易 操作 的 图 表 对 象 。 















































上 



































c 











IndexedSlices (索引 化 切片 》 


在 Python API 中 ， 








TensorFlow 仅仅 在 第 一 维 上 对 Tensor 有 所 体现 。 如 果 一 个 Tensor 有 k 维 ， 那 么 一 个 Inde 



































B 


























xedSlices PIZ 
单独 的 一 维 向 量 中 ， 


间 ， 请 用 SparseTen 



































Node CF) 




















的 值 。 对 于 那些 多 形 














辑 上 代表 一 个 沿 着 这 个 Tensor 第 一 维 的 (k-1) 维 切片 的 集合 。 切 片 的 索引 被 连续 储存 在 一 个 
而 对 应 的 切片 则 被 拼接 成 一 个 单独 的 k 维 Tensor。 如 果 sparsity 不 是 受 限 于 第 一 维 空 


SOT o 






























































图 中 的 一 个 元 素 。 把 启动 一 个 特定 操作 的 方式 称 为 特定 运算 图 表 的 一 个 节点 ， 包 括 任何 用 来 配置 这 个 操作 的 属性 






































态 的 操作 ， 这 些 属性 包括 能 完全 决定 这 个 节点 (Node) 签名 的 充分 信息 。 详 见 graph. proto. 














操作 (0p/operation) 


在 TensorFlow 的 运 





f-"https://github. 





行 时 中 ， 它 是 一 种 类 似 add EX matmul 或 concat 的 运算 。 可 以 用 [how to add an ophre 


com/ jikexueyuanwiki/tensorflow-zh/blob/master/SOURCE/how tos/adding an op/index.m 


d”) 中 的 方法 来 向 运行 时 添加 新 的 操作 。 








在 Python 的 API 中 ， 





orflow-zh/blob/mas 
n) 的 type 属性 决定 


Run 














它 是 图 中 的 一 个 节点 。 在 [tf. Operationhref-"https://github. com/ jikexueyuanwiki/tens 











ter/SOURCE/api docs/python/framework. md^) 类 中 列举 出 了 这 些 操作 。 一 个 操作 (Operatio 
这 个 节点 (node) 的 操作 类 型 ， 比 如 add 和 matmul 。 











在 一 个 运行 的 图 中 执 

















在 Python 的 API Ħ 











行 某 种 操作 的 行为 。 要 求 图 必须 运行 在 会 话 中 。 




















ki/tensorflow-zh/b 
) 操作 。 


H, E Session 类 的 一 个 方法 [tf. Session. runhref-" https: //github. com/ jikexueyuanwi 








lob/master/SOURCE/api docs/python/client. md”)。 可 以 通过 Tensors 来 订阅 或 获取 run ( 
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在 C++ 的 API 中 ， 








aster/SOURCE/api docs/python/client.md^)2$ 的 一 个 方法 。 


Session (会 话 ) 








"Va A 
图 的 第 


局 动 


























- 步 是 创建 一 个 Session 对 象 。Session 提供 在 
































中 执行 操作 的 一 些 方法 。 


它 是 [tensorflow: :Sessionhref=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/m 


在 Python APIP, fEH][tf.Sessionhref-"https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/master/ 





SOURCE/api docs/python/client. md”). 


在 C++ 的 API 中 ，[tensorflow: :Sessionhref=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/mas 





ter/SOURCE/api docs/cc/ClassSession. md^) 是 用 来 创建 一 个 


Shape 


Tensor 的 维度 和 它们 的 大 小 。 

















Rİ 


在 一 个 已 经 启动 的 图 中 ， 




















求 ， 如 果 没 有 Sha 











和 


要 么 全 





在 Python API 中 ， 用 创建 











X] 





的 API 来 








节点 (node) 之 间 的 Tensor 的 属性 。 


说 


ster/SOURCE/api docs/python/framework. md^) 





anwiki/tensorflow-zh/blob/master/SOU 


SparseTensor 


PI 





在 Python A 


中 ， 它 用 来 表示 在 TensorFlow H 




















式 来 储存 那些 








s) 组 成 的 矩阵 。 为 了 提升 效率 ，SparseTensor 
Re. nC SS 





Tensor 























Tensorzé PHRF EE d 
成 的 图 片 。 

















一 维度 ， 就 用 
数组 。 比 如 ， 


Æ E 
T 





IndexedSlices. 


Jua 

















K 

















Hj Tensor 的 Shape 属性 。Tensor 的 Shape 属性 


PUBL EB CA CE TE SORT I 








一 个 浮 点 型 的 
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;数组 表示 一 小 批 


0000000 


运行 操作 的 类 : 


RCE/api docs/cc/ClassTensorShape. md”) > 


Tensor > Sparse 


一 些 操作 对 shape 有 比较 强 的 


HH 
E 


HH 
E 











么 只 有 部 分 已 


部 未 知 。 详 见 [tf. TensroShapehref=”https://github. com/ jikexueyuanwiki/tensorflow-zh/blob/ma 


在 C++ 中 ，Shape 类 用 来 表示 Tensor 的 维度 。[tensorflow: :TensorShapehref=”https://github. com/ jikexueyu 


Tensor 以 字典 - 值 格 





治 着 索引 的 非 空 值 。 换 言 之 ，m 个 非 空 值 ， 就 包含 一 个 长 度 为 m 的 值 向 量 和 一 个 














m 列 索引 (indice 

















将 indice CRID 按 维度 的 增加 来 按 序 




















[batch, height, 











存储 ， 比 如 行 主 





width, channel]£H 

















在 一 个 运行 的 图 (graph) 中 ， 它 是 一 种 流动 在 节点 (node) 之 间 的 数据 。 在 Python 中 ，Tensor 类 表示 添加 到 图 


























的 操作 中 的 输入 和 输出 ， 见 [tf. Tensorhref-" https: //github. com/ jikexueyuanwiki /tensorflow-zh/blob/maste 











r/SOURCE/api docs/python/framework.md“) ， 这 样 的 类 不 持 有 数据 。 





在 C++ 中 ，Tensor 是 方法 [Session::Run( ) href-^https://github. com/ jikexueyuanwiki /tensorflow-zh/blob/ma 














ster/SOURCE/api docs/cc/ClassSession. md) 的 返回 值 ， 见 tensorflow: :Tensor， 这 样 的 Tensor 持 有 数据 。 


原文 : [Glossaryhref=“https://github. com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/resource 


s/glossary. md”) 
翻译 : leege100 


校对 : lonlonago 
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张 量 的 阶 、 形 状 、 数 据 类 型 





TensorFlow 用 张 量 这 种 数据 结构 来 表示 所 有 的 数据 . 你 可 以 把 一 个 张 量 想象 成 一 个 n 维 的 数组 或 列表 . 一 个 张 量 有 一 
个 静态 类 型 和 动态 类 型 的 维 数 . 张 量 可 以 在 图 中 的 节点 之 间 流 通 . 












































| 阶 




















在 TensorFlow 系 统 中 ， 张 量 的 维 数 来 被 描述 为 秦 . 但 是 张 量 的 阶 和 和 矩阵 的 阶 并 不 是 同一 个 概念 . 张 量 的 阶 (有 时 是 
关于 如 顺序 或 度数 或 者 是 n 维 ) 是 张 量 维 数 的 一 个 数量 描述 . 比如 ， 下 面 的 张 量 (使 用 Python 中 1ist 定 义 的 ) 就 是 2 


pr. 







































































tl 2, 9, A s Gl. m & 可 ] 








你 可 以 认为 一 个 二 阶 张 量 就 是 我 们 平常 所 说 的 矩阵 ， 一 阶 张 量 可 以 认为 是 一 个 向 量 . 对 于 一 个 二 阶 张 量 你 可 以 用 语 
^j tii, jl 来 访问 其 中 的 任何 元 素 . 而 对 于 三 阶 张 量 你 可 以 用 tli, j, KI 来 访问 其 中 的 任何 元 素 . 
























































阶 数学 实例 Python 例子 

0 纯 量 (只 有 大 小 | s 483 

1 | 向 量 (大 小 和 方向 ) v — [L.1, 2.2, 3.3] 

2 算 阵 (数据 表 ) | 


3 | 3 阶 张 量 (数据 立 | — (01. |. Ls. Del Dp Der Lnd Dp Ti 
体 ) 81]] 


n n 阶 (自己 想 想 看 ) 























形状 



































TensorFlow 文 档 中 使 用 了 三 种 记号 来 方便 地 描述 张 量 的 维度 : 阶 ， 形 状 以 及 维 数 . 下 表 展 示 了 他 们 之 间 的 关系 : 



































阶 ”形状 维 数 实例 

o | 0-D 一 个 0 维 张 量 ， 一 个 纯 量 . 

1 [D0] 1-D 一 个 1 维 张 量 的 形式 [5]. 

2 [DO, D1] 2-D 一 个 2 维 张 量 的 形式 [3，4]. 

3 [D0, D1, D2] 3-D 一 个 3 维 张 量 的 形式 [1, 4, 3]. 

n [DO, Dl, ... Dn] n-D 一 个 n 维 张 量 的 形式 [DO, D1, ... Dn]. 




















形状 可 以 通过 Python 中 的 整数 列表 或 元 祖 Cint list 或 tuples) 来 表示 ， 也 或 者 用 TensorShape class. 
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| 数据 类 型 





除了 维度 ，Tensors 有 一 个 数据 类 型 属性 . 你 可 以 为 一 个 张 量 指定 下 列 数据 类 型 中 的 任意 一 个 类 型 : 










































































数据 类 型 Python 类 型 描述 

DT FLOAT tP loata? 32 位 浮 点 数 . 

DT DOUBLE tf. float64 64 位 浮 点 数 . 

DT INT64 tf. int64 64 位 有 符号 整 型 . 

DT INT32 "LS DHL OE 32 位 有 符号 整 型 . 

DT_INT16 SITO 16 位 有 符号 整 型 . 

DT_INT8 Tito Unt 8 位 有 符号 整 型 . 

DT UINT8 Tira UNTE 8 位 无 符号 整 型 

DT_STRING tf. string 可 变 长 度 的 字 节 数组 . 每 一 个 张 量 元 素 都 是 一 个 字 节 数组 . 
DT BOOL tf. bool 布尔 型 . 

DT COMPLEX64 tf. complex64 两 个 32 位 浮 点 数组 成 的 复数 :实数 和 虚数 . 
DT_QINT32 1 di 用 于 量化 0ps 的 32 位 有 符号 整 型 . 
DT_QINT8 tf. qint8 用 于 量化 0ps 的 8 位 有 符号 整 型 . 
DT_QUINTS tf. quint8 用 于 量化 0ps 的 8 位 无 符号 整 型 . 

















原文 : [Tensor Ranks, Shapes, and Typeshref= http://www. tensorflow. org/resources/dims types. md”) 
翻译 : nb312 


校对 : lonlonago 
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其 他 
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常见 问题 汇总 
| 说 明 





本 章 非 官方 文档 翻译 ， 是 由 众多 TensorFlow 爱 好 者 将 安装 和 使 用 TF 过 程 中 的 问题 总 结 而 成 的 。 























| 常见 问题 及 解答 
(示例 ) 官网 地 址 是 哪里 ? 
http://www. tensorflow. org/ 
如 何 安装 pip ? 


。 Ubuntu (14. 04) 

sudo apt-get update && sudo apt-get install -y python python-dev python-pip 
* CentOS 7 

yum update -y && yum install -y python python-devel epel-release.noarch python-pip 
* MACOS 


sudo easy install pip 


docker run -it b. gcr. io/tensorflow/tensorflow 失败 





该 镜像 所 在 仓库 被 增 ， 需要 梯子 。 














这 里 《密码 : v9ts) 有 镜像 的 导出 包 。 使 用 方法 





docker load € sensorflow. tar. gz 


| TensorFlow 相关 资源 











。 Google 官 方 Blog 宣 布 TensorFlow 开 源 
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。 TensorFlow WhitePaper (PDF 下 载 ) 


* Jeff Dean 介绍 TensorFlow (视频 ) 











* TensorFlow 简化 版 接口 Scikit Flow 








。 TensorFlow 使 用 样 例 


* TensorFlow 与 mxnet, caffe 对 比 @chenrudan 








e [TensorFlow 与 torch7, caffe, mxnet 在 内 存 使 用 量 以 及 性 能 对 比 (ml ihref-"https://github. com/dmlc/ 








mxnet/blob/master/doc/overview chn. md”) 


| TensorFlow 个 人 学 习 心 得 





WH: 本 章 所 列 链接 为 个 人 学 习 TensorFlow 的 心得 ， 很 多 是 博客 地 址 ， 从 实践 的 角度 帮助 大 家 更 好 的 理解 官方 文 
档 的 内 容 


示例 : 


。 我 的 TensorFlow 学 习 博 客 
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极 客 子 院 


jikexueyuan.com 


中 国 最 大 的 | 上 T 职 业 在 线 教育 平台 





更 多 信息 请 访问 > 


http://wiki. jikexueyuan. com/pro ject/tensorflow-zh/ 
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